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Introducción 


La evaluación es un fenómeno inherente a las prácticas intencionales y sistemáticas. 
Si se pretende llegar a algún sitio es lógico que se cuestione si se va por buen camino y 
en qué medida se logra llegar al lugar que se pretendía. Esta preocupación se manifiesta 
tanto en actividades de la vida cotidiana como en aquellas más planificadas y 
organizadas. En un caso y en otro, la persona o el grupo recoge información sobre 
objetos, acontecimientos, situaciones, etc., la contrasta con algún referente o modelo más 
o menos explícito a fin de emitir un juicio de valor. En su forma más esencial, lo que se 
pretende cuando se evalúa es optimizar las alternativas que se tienen. 

En las organizaciones, al igual que ha ocurrido en otras instancias educativas y 
sociales, se ha pasado de la preocupación del “cuánto” por la del “cuán bien”; esto es, no 
se trata de que haya o no formación, sino de que ésta sea de calidad. Y cuando se 
cuestiona si lo que se tiene es “bueno o no”, “sirve o no”, se hace de “manera eficiente o 
no”, se están planteando problemas de evaluación. 

Un principio cada vez con mayor aceptación en el seno de las organizaciones es que 
la buena evaluación es una inversión. El costo de “no evaluar” puede ser muy 
importante, como lo es el continuar con programas de formación que no aportan ningún 
beneficio a las personas o a la organización, como lo es tomar decisiones en función de 
“opiniones informales de pasillo” sin disponer de evidencias válidas y pertinentes sobre la 
calidad de la formación que se hace y cómo se hace. En otras palabras, la evaluación es 
el instrumento del que se sirve la formación para dar un servicio de calidad y, en 
consecuencia, que sus esfuerzos lleguen a donde deben llegar de la manera mejor y más 
eficiente posible. 

En atención a esta calidad de la formación, dos razones fundamentales justifican esta 
obra. Una razón es la creciente necesidad y demanda de personas especializadas en 
evaluación en el ámbito de la formación. Muchos gestores de formación y personal de 
formación necesitan afrontar, en muchos casos sin tener la especialización necesaria, 
tareas evaluativas cada vez de mayor complejidad. Se ha pasado de un período en el que 
no se requería evaluación, bastaba meramente “justificar” que se hacía aplicando a los 
asistentes un cuestionario al final de las sesiones formativas, al momento actual, en el que 
se ha incrementado notablemente la necesidad de la evaluación como un instrumento de 
gestión para la continua optimización y mejora de la formación. Existe hoy una real 
preocupación y un verdadero interés en el personal de dentro y fuera del sistema de 
formación por evaluar de manera efectiva la formación. 

Otra razón importante que ha dado origen a esta obra es la experiencia de la autora 
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en cursos de formación y asesorías sobre el tema. En la última década la evaluación ha 
cobrado un protagonismo creciente en las organizaciones y empresas que realizan 
formación, hasta convertirse en uno de sus principales puntos de análisis y preocupación. 
No obstante, a pesar de que hoy se dispone de amplios estudios y propuestas 
metodológicas, continúa siendo una actividad que produce desconcierto y confusión entre 
el personal. Sorprende el profundo abismo existente entre la enorme riqueza teórica y 
metodológica de la evaluación y la pobreza de las actividades evaluativas en los procesos 
de formación. La realidad de las prácticas en evaluación contrasta con el gran desarrollo 
conceptual y técnico que durante estas últimas décadas ha tenido lugar en el campo. Es 
cierto que no es fácil evaluar la formación, pero esto no quiere decir que sea imposible. 
Con muchas limitaciones seguramente, el responsable en formación, sea director, gestor 
o docente, encontrará en esta obra sugerentes propuestas y procedimientos para afrontar 
con éxito una evaluación competente que diferencie lo bueno de lo malo, lo eficaz de lo 
ineficaz, lo pertinente de lo que no lo es, etc.; es decir, instrumentos que le permitan 
analizar el mérito y el valor de la formación que se hace e introducir las mejoras y 
modificaciones que conduzcan a su perfeccionamiento. 

La obra se ha escrito pensando en profesionales y estudiantes que, ubicados en el 
sistema de formación de una organización, deben o quieren afrontar evaluaciones 
sistemáticas, pero que no han tenido una formación teórico-metodológica específica de 
evaluación. De aquí el reto de conseguir un desarrollo equilibrado entre teoría y práctica 
en la exposición de los temas. De un lado, se ofrecen los conocimientos teóricos 
necesarios que posibiliten adoptar decisiones de evaluación fundamentadas y 
competentes. Se trata de unos conocimientos necesarios si se desea adquirir un nivel de 
especialización suficiente para afrontar los problemas de una evaluación que sirva al 
perfeccionamiento y al control responsable de la formación. De otra parte, la obra tiene 
una finalidad práctica, esto es, aportar instrumentos y materiales útiles para afrontar con 
posibilidades de éxito las cuestiones que preocupan en una evaluación de la formación. 
En síntesis, no se trata sólo de ofrecer los conocimientos sobre los que hoy se asienta la 
evaluación de la formación, sino de ofrecer suficientes ejemplos e ilustraciones que 
sirvan de “guía práctica” para hacerlos realidad. 

El punto de partida del libro e hilo conductor de su desarrollo es el resultado de 
cruzar dos criterios de clasificación de objetivos de la evaluación: uno se refiere a los 
distintos objetivos que tiene la evaluación según su centro de interés sea valorar el 
diseño, la ejecución o los resultados de la formación; y, otro, las distintas necesidades 
que evaluación debe cubrir según el objetivo sea valorar políticas y planes de formación, 
programas de formación o sesiones específicas de formación. Atendiendo al primer 
criterio, la evaluación se considera como un proceso inserto en el proceso de formación, 
caminando en paralelo e interactuando con los demás componentes en las distintas fases 
del ciclo formativo. De aquí que se distingan tres modalidades de evaluación conceptual 
y metodológicamente diferentes según el objeto de valoración sea el diseño de la 
formación, su desarrollo o sus resultados: evaluación del diseño de la formación, 
evaluación de su implementación y desarrollo y evaluación de los resultados de la 
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formación. Los capítulos centrales de la obra tratan de las finalidades y estrategias 
evaluativas que corresponden a cada una de estas modalidades de evaluación. 
Atendiendo al segundo criterio, se considera que las cuestiones y problemas de la 
evaluación son diferentes en los tres niveles de decisión del sistema formativo; esto es, 
diferentes para un primer nivel donde la responsabilidad se sitúa en la dirección de 
políticas y planes de formación, para un segundo nivel donde se encuentran los 
responsables de la gestión y coordinación de programas de formación y para un tercer 
nivel donde actúan los responsables de la docencia en las sesiones de formación. En 
cada uno de estos niveles de decisión, los planteamientos evaluativos son diferentes 
como son las cuestiones y las necesidades de información que la evaluación debe 
atender. En el desarrollo de los temas, se procura atender a las peculiaridades propias que 
la evaluación presenta según estos niveles de decisión. 

La obra la conforman seis capítulos, que pretenden ofrecer el panorama de los 
conocimientos y procedimientos teórico-prácticos que dominan en la actualidad la 
evaluación de la formación en las organizaciones. En el primer capítulo se expone el 
panorama conceptual de la evaluación cuando se aplica al contexto de la formación. Su 
objetivo es familiarizar al lector con el vocabulario y los conceptos básicos de la 
evaluación. Se abordan las distintas modalidades, tipos y funciones de la evaluación, 
pretendiendo sentar las bases de lo que es hoy la evaluación de la formación. 

El segundo capítulo se dedica al proceso de la evaluación con la finalidad de ofrecer 
la riqueza de procedimientos que caracteriza la actividad evaluativa. El proceso de 
evaluación tal como se plantea hoy rebasa con creces los planteamientos tradicionales. 
En el capítulo, después de preguntarse sobre si se debe o no evaluar todo lo que se hace 
en formación, se describen las tareas específicas de los cuatro momentos o fases del 
proceso evaluativo: establecer la finalidad y alcance de la evaluación; planificar el 
proceso; recoger, analizar e interpretar los datos, y, por último, elaborar el informe y 
difundir los resultados de la evaluación. 

El tercer, cuarto y quinto capítulos se dedican a la exposición de las finalidades y 
procedimientos propios de las tres modalidades de evaluación mencionadas 
anteriormente. El capítulo tercero se centra en la evaluación de la planificación y diseño 
de la formación. Se analizn los distintos componentes del programa, indicándose los 
criterios e indicadores de mayor uso para cada uno de ellos. Estudio especial merece la 
evaluación de docentes, en su dimensión pedagógica o formativa y en la de control o 
sumativa. Se presentan también distintas estrategias de evaluación, que pueden utilizarse 
cuando el objeto de evaluación es el diseño de unos planes de formación, o de un 
programa o de una sesión de formación. 

En el capítulo cuarto se expone la evaluación de la implementación y funcionamiento 
de la formación. Se especifican las distintas finalidades y procedimientos de la evaluación 
según que el centro de interés sea el proceso de las actividades de formación y cómo 
perfeccionarlas, o sea, el seguimiento de la gestión operativa y económica de la 
formación. En este último caso se abordan los criterios e indicadores para valorar la 
cobertura de la formación, sus recursos y funcionamiento, la productividad de las 
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acciones en razón de los esfuerzos aplicados, y las cuestiones fimancieras que la 
evaluación de la formación debería plantear. 

El capítulo quinto se dedica a la evaluación de los resultados. Es el más amplio de 
todos en cuanto que los resultados se analizan en tres niveles diferentes: los aprendizajes 
adquiridos inmediatamente acabadas las actividades formativas, su transferencia al puesto 
de trabajo a medio plazo, y sus efectos en las metas y cultura de la organización a largo 
plazo. Atendiendo a estos tres niveles de resultados, se analizan las finalidades, los 
procedimientos y las técnicas específicas para evaluar la eficacia, la efectividad y el 
impacto de la formación. 

Por último, en el capítulo sexto se presentan los procesos de elaboración de algunas 
técnicas de evaluación. Teniendo en cuenta los límites señalados para esta obra, se han 
seleccionado aquellas técnicas de mayor uso en evaluación y que presentan cierta 
complejidad en su elaboración y análisis. Se desarrollan los procesos de elaboración y 
análisis de las pruebas objetivas, de los procedimientos de observación, del cuestionario 
estructurado, de las escalas de actitudes, de los grupos de discusión y las técnicas de 
análisis de contenido. 

En el texto se abordan muchos aspectos técnicos de la evaluación, procedimientos y 
métodos susceptibles de ser utilizados en evaluación de la formación. Pero no debe 
olvidarse que la evaluación, antes que nada, es una actitud. Los procedimientos de 
evaluación adquieren un sentido u otro, se aplican de una manera u otra, según la actitud 
con la que se aborda la actividad evaluativa. Algunos términos como el diálogo, el 
consenso, la flexibilidad, la autorreflexión, la coevaluación o la participación deben 
animar la actividad evaluativa si se pretende que sea una evaluación con impacto en los 
procesos de formación. 

Para finalizar, cabe señalar el valor intrínseco de la propia evaluación como motor de 
cambio y mejora. Desde la experiencia de las prácticas evaluativas, se sabe que pueden 
ser más importantes los efectos que produce el propio proceso evaluativo que el impacto 
de sus resultados en las decisiones. El proceso evaluativo, en la medida que introduce la 
reflexión sobre lo que se hace y cómo se hace, que cuestiona unos objetivos, la eficacia 
de unas prácticas, unos costes, etc., sensibiliza a las personas implicadas (políticos, 
personal de dirección y gestión, profesorado, alumnado, etc.) sobre muchas cuestiones 
que hasta el momento pasaban inadvertidas. Si se consigue desarrollar esta sensibilidad y 
que las personas entren en un proceso de reflexión y crítica pedagógica sobre qué se 
hace, cómo se hace y qué utilidad tiene, sin duda se habrán sentado las bases de una 
evaluación que tiene el reto de asegurar la calidad de la formación en las organizaciones. 
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1 


Marco conceptual de la evaluación de la 
formación 


Este capítulo intenta presentar el estado actual de la evaluación de la formación en 
las organizaciones. A lo largo de estos últimos veinte años este campo se ha enriquecido 
con importantes contribuciones de distintos ámbitos (educativo, social, de la salud, 
económico, etc.). De un proceso de evaluación relativamente sencillo en sus orígenes ha 
pasado a ser una actividad bastante compleja, pero también, y esto es lo relevante, un 
instrumento poderoso que vela por la calidad de las acciones educativas a la vez que 
contribuye al desarrollo profesional de las personas implicadas en ellas. 

Existe hoy una total aceptación de la evaluación como proceso integrado e 
interrelacionado con el proceso de formación. Se ha superado la creencia tradicional de la 
evaluación como la actividad final encargada de cerrar un ciclo formativo. Frente al 
esquema inicial de concebirla como una actividad posterior, a realizar después de la 
programación de la actividad formativa y una vez se había realizado ésta, hoy se 
reconoce que evaluación, planificación y desarrollo son procesos asociados que caminan 
paralelos y de forma interdependiente. De una única evaluación centrada en la valoración 
de los resultados finales se ha pasado a distintas modalidades, tipos y funciones 
evaluativas como resultado de los también distintos centros de interés y finalidades que 
puede tener la evaluación de la formación. 

Toda esta complejidad, sin duda, ha dado lugar a un amplio campo terminológico 
que a menudo resulta frustrante para las personas que se inician en evaluación. Por esta 
razón, el capítulo pretende abordar los conceptos más utilizados en este campo con el 
doble propósito de, en primer lugar, ofrecer una visión comprensiva de los 
planteamientos actuales en evaluación y, en segundo lugar, llamar la atención, cuando se 
plantea una actividad evaluativa, de lo importante que es delimitar con claridad desde el 
principio el tipo de evaluación que se pretende hacer, puesto que de él dependen las 
preguntas clave que deben responderse, los criterios de valor que han de utilizarse, las 
técnicas más adecuadas y la naturaleza del proceso de evaluación que se debe seguir. 


1.1. La perspectiva clásica de la evaluación 


Recordemos, siquiera de forma breve, que el término evaluación es relativamente 
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reciente en el campo educativo y de la formación. Ralph W. Tyler, considerado como el 
padre de la evaluación, introduce y define el término en el campo pedagógico por primera 
vez en el año 1942. El autor se basaba en la premisa de que la educación es un proceso 
sistemático destinado a producir cambios en la conducta de las personas que se someten 
a él; no un cambio en cualquier sentido, sino en la dirección que determinan unos 
objetivos previamente establecidos. Desde esta perspectiva tradicional, el concepto de 
evaluación nace asociado a la valoración de los objetivos pretendidos o, también, a la 
valoración del cambio deseado. Así, Tyler proporcionará las primeras definiciones de 
evaluación en los términos siguientes: “Evaluar es el proceso que tiene por finalidad 
valorar en qué medida se han conseguido los objetivos que se habían previsto”, o, en 
otros términos, “valorar el cambio ocurrido como efecto de la formación”. 

Aun reconociéndose las importantes aportaciones de Tyler, durante estas últimas 
décadas su concepto de evaluación ha sido objeto de reinterpretaciones y 
reconceptualizaciones. Desde distintas instancias se intenta responder a las demandas que 
en materia de evaluación requieren los modernos planteamientos formativos. Aquel 
primer concepto de evaluación resultaba a todas luces excesivamente restrictivo de las 
funciones y roles que la evaluación en la actualidad puede tener en la formación. 
Aparecen y preocupan cuestiones importantes que no se resuelven desde el esquema 
clásico, a saber: 


—  Relegar la función de la evaluación a la fase final del proceso, es decir, una 
vez realizada la formación. La pregunta inevitable es: Y si el proceso no 
funciona, ¿es al final cuando nos enteramos?, o bien, ¿se constatan al final los 
errores, cuando ya no tienen remedio? Según el esquema clásico, la 
retroalimentación del sistema formativo sólo se obtiene al concluir el proceso, 
sobre resultados finales y no sobre el propio proceso. 

— Centrar la evaluación sólo en objetivos previamente establecidos. Cabe, 
entonces, preguntarse: Y los resultados no pretendidos, que pueden ocurrir 
como efecto de la actividad formativa, ¿no se tienen en consideración? Desde 
el modelo clásico, la evaluación soslaya considerar otros efectos no 
pretendidos de la formación, que pueden ser tanto o más importantes que los 
pretendidos. 

— Considerar los objetivos de la actividad formativa como único criterio de 
evaluación para diferenciar los buenos de los malos resultados. Lleva a 
preguntarse: Cualquier actividad que alcance los objetivos propuestos, ¿es 
considerada como una buena formación?, ¿y si los objetivos no son los 
pertinentes o los necesarios para satisfacer las necesidades que se pretenden 
cubrir?, ¿los objetivos no deberían ser también objeto de evaluación? 


1.2. Definamos la evaluación 
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Dentro de la nueva era, la evaluación tiene un enfoque más amplio y comprensivo 
que aquel clásico restringido a valorar si se habían conseguido o no los objetivos 
propuestos. En efecto, a partir de los años setenta y ochenta el campo de la evaluación se 
ha caracterizado por el desarrollo de una pluralidad de perspectivas, desde las cuales se 
ofrecen distintas definiciones de evaluación. No es el momento de realizar un listado de 
estas definiciones, pero sí de señalar que todas coinciden en no centrar la evaluación en 
si los objetivos se han conseguido o no. La evaluación se plantea como un proceso 
asociado a la formación, desde la planificación de las actividades formativas hasta la 
comprobación de sus resultados, con el fin de conocer cuáles son los elementos que 
funcionan y cuáles no, a la vez que asegura la calidad de todo el sistema y proceso de la 
formación. 

En atención a los objetivos de esta obra, se propone la siguiente definición, en la 
cual se pretende recoger los elementos que caracterizan la actividad evaluativa en la 
actualidad: 


La evaluación es un proceso sistemático de obtener información objetiva y útil en la que apoyar 
un juicio de valor sobre el diseño, la ejecución y los resultados de la formación con el fin de servir de 
base para la toma de decisiones pertinentes y para promover el conocimiento y comprensión de las 
razones de los éxitos y los fracasos de la formación. 


Defender un concepto de evaluación como el que se propone significa aceptar que la 
actividad evaluativa debe responder a los siguientes principios de actuación: 


— Ser un proceso sistemático y no improvisado. La evaluación no se puede 
identificar con un único acto (pasar un cuestionario o pasar una prueba de 
rendimiento), sino con un proceso, o mejor decir, con un conjunto de procesos 
no improvisados ni espontáneos. 

— Asegurar la objetividad y utilidad de la información que se recoge. Todo 
proceso evaluativo conlleva una obtención de información, sea cuantitativa O 
cualitativa, pero de muy poco serviría el juicio valorativo si no se apoya en 
unas observaciones y datos válidos y fiables. Sin duda, la calidad de la 
información es un elemento clave para que la evaluación sea creíble. 

— Emitir un juicio de valor o de mérito. La evaluación significa la emisión de un 
juicio de valor sobre la información recogida y ello requiere algún referente o 
criterio con que compararla. El juicio de valor y los criterios en los que se 
apoya constituyen los componentes nucleares del concepto de evaluación. 

—  Integrarse activamente en todas las fases del proceso de formación. La 
evaluación, como se ha repetido en estas páginas, no puede entenderse como 
una etapa final desligada del proceso de formación. Son dos procesos paralelos 
e interactivos. 

— Ser un instrumento útil. El punto de partida de la evaluación es identificar el 
porqué y el para qué se quiere evaluar, puesto que según sean las respuestas a 
estas cuestiones merecerá la pena el esfuerzo de todo tipo (personal, 
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financiero, de tiempo, etc.) que necesita una evaluación bien hecha. 

— Ayudar a la comprensión de los fenómenos formativos, de las variables 
asociadas a los éxitos y a los fracasos. La evaluación debe intentar dar cuenta 
de los factores que han contribuido a los éxitos y a los fracasos de las acciones 
formativas. La evaluación debe guiarse por un impulso de comprensión y de 
entender por qué las cosas han llegado a ser como son. 


1.3. Nuevo enfoque de la evaluación. La evaluación participativa 


Es importante señalar el cambio de énfasis ocurrido durante estos últimos años 
respecto a la naturaleza y al valor intrínseco de la evaluación. En este sentido puede 
afirmarse que la tendencia actual de la práctica se caracteriza por moverse en las 
direcciones siguientes: 


— De una evaluación centrada en procesos de legitimación o deslegitimación a 
una evaluación centrada en procesos de mejora. Más que un proceso para 
certificar o aprobar, el acento de la actividad evaluativa se coloca cada vez más 
en la optimización de lo que se evalúa, es decir, contribuir a proporcionar 
información relevante para introducir los cambios y modificaciones necesarios 
para hacer mejor lo que se está haciendo. 

— De una evaluación centrada en el control a una evaluación centrada en el 
aprendizaje. Más que entender la evaluación como un instrumento de control 
externo sobre qué se hace y cómo se hace, cada vez más se tiende a entenderla 
como un proceso que promueve el aprendizaje sobre la realidad en la que se 
actúa: comprender mejor los procesos sobre los que se actúa y las razones de 
los fallos y aciertos. Y no solamente en el ámbito de las personas sino también 
de la organización; es decir, promueve el aprendizaje organizacional en la 
medida que la evaluación sea una actividad integrada en los procesos de 
gestión y se establezcan los necesarios mecanismos de retroalimentación y 
nexos informativos entre sus niveles: mejorar las futuras decisiones sobre 
políticas, programas o proyectos a través del feedback de la lección aprendida. 

— De una evaluación externa al “empowerment” mediante la evaluación. De una 
evaluación que permanece externa a los procesos de gestión a una posición por 
incorporar los beneficios de la metodología de la evaluación para desarrollar 
habilidades de autoevaluación que permitan a las personas, colectivos, 
instituciones y comunidad mejorar por sí mismos sus actuaciones. Desde estas 
perspectivas, el papel del evaluador es más el de un facilitador que contribuye 
a la formación de los distintos agentes e implicados en las políticas y programas 
a ser autosuficientes para conducir sus propias evaluaciones y cada vez más 
hábiles para identificar y expresar sus necesidades, establecer objetivos y 
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expectativas, realizar un plan de acción para conseguirlos, identificar recursos, 
hacer decisiones racionales entre varias alternativas de acción, establecer los 
pasos lógicos y necesarios para conseguir los objetivos, evaluar resultados a 
corto y largo plazo, etc. Por ejemplo, el mismo proceso de construir 
indicadores ayuda al análisis de un problema y a definir los resultados que se 
esperan alcanzar. 

— De una evaluación profesional a una evaluación participativa. Más que un 
proceso técnico y complejo cuya responsabilidad recae en un experto, la 
evaluación se entiende como un proceso donde la responsabilidad es 
compartida por todas aquellas personas (o sus representantes) que tienen 
intereses legítimos en las acciones, programas y políticas que se evalúan 
(cuadro 1.1). Desde esta perspectiva, la evaluación se concibe como una 
actividad democrática y pluralista en la medida en que diferentes actores 
pueden dar lugar a diferentes valores, opiniones y criterios de valoración, todos 
ellos en principio legítimos. 

— De una evaluación técnica a una evaluación política. Más que un proceso en 
el que deben ponerse en juego sofisticadas metodologías y técnicas de análisis, 
la evaluación es en un proceso en el que deben consensuarse diferentes 
intereses, valores y puntos de vista. El énfasis, en la actualidad, no es velar o 
buscar aquel juicio imparcial que debe garantizarse mediante la competencia 
del evaluador y el uso de unos rigurosos procedimientos técnicos, más bien hay 
que ver la evaluación como una herramienta del y para el debate democrático. 
La evaluación comporta implicaciones políticas: el hecho mismo de tomar la 
decisión de evaluar, el objeto de evaluación, los criterios que se adoptarán para 
distinguir lo que está y no está bien, la selección de una u otra metodología, la 
utilización de los resultados, etc., son todos aspectos en los que las posiciones 
política, ideológica y de valor desempeñan un importante papel. En evaluación, 
los conflictos de intereses son inevitables y el problema no radica en cómo 
evitarlo sino en cómo manejarlo para que la evaluación cumpla un servicio 
social, es decir, esté al servicio de los que son sus principales beneficiarios y 
beneficiarias; es decir, los ciudadanos y ciudadanas. 


Cuadro 1.1. Planteamientos actuales en evaluación. 


EVALUACIÓN PARTICIPATIVA EVALUACIÓN TRADICIONAL 
* Responsabilidad compartida: “se hace * Responsabilidad profesional: “se hace 
con ...” para ...” 


+ El poder en los participantes 


: o 2d A * El poder en la 
dirección/administración p 
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* Los participantes como expertos + El profesional es el experto 


El liderazgo se basa en una visión + Liderazgo externo basado en la 
compartida con amplio apoyo autoridad, posición y título 


. Relaciones limitadas al sistema de 


+ Enfasis en la cooperación colaboración ds . 
coordinación establecido 


+ Evaluación para el desarrollo y mejora + Evaluación para justificar gastos y/o 
de política/programa/acciones resultados 


+ Enfasis en el proceso de evaluación + Enfasis en el informe de la evaluación 


Fuente: Adaptado de M. A. Dugan (1996): Participatory and empowerment evaluation. En D. M. Fetterman y 
otros (eds.): Empowerment evaluation. Sage: Londres. 


Si tratáramos de simplificar las ideas expuestas más arriba podríamos decir que el 
énfasis actual en evaluación es la participación de las personas o sus representantes 
implicadas en las políticas y programas como una de las mejores garantías de utilidad, 
democracia y calidad de los procesos de planificación, de desarrollo e información de 
políticas, programas y servicios formativos. 


1.4. Finalidad de la evaluación como proceso integrado en el ciclo 
formativo 


La evaluación tiene por finalidad velar por el éxito de la formación y analizar los 
fallos en cada una de sus fases: en la planificación, en la realización y en los resultados. 
Es así que la evaluación está presente en cada uno de los momentos decisivos de la 
formación, con finalidades distintas en la medida que también debe responder a 
necesidades de información diferentes según el momento del proceso formativo al que 
sirve. 

Como señalaba en otra ocasión, Cabrera (1996), en un enfoque sistemático sobre 
evaluación de programas cabe distinguir tres tipos de evaluación con propósitos 
específicos: la evaluación de la conceptualización y el diseño de la formación, la 
evaluación de la implementación y desarrollo de la formación y la evaluación de los 
resultados. Aunque no siempre es posible realizar los tres tipos de análisis evaluativos, sí 
debería plantearse en aquellos programas de importancia o de gran repercusión a fin de 
asegurar en la medida de lo posible el éxito de sus acciones formativas; cuando esto se 
hace, se puede decir que se ha realizado una evaluación integral. Estos tres tipos de 
evaluación responden a las finalidades evaluativas específicas tal como se presenta en el 
cuadro 1.2, y que serán objeto de exposición en los capítulos 3, 4 y 5, respectivamente, 
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de esta obra. 


Cuadro 1.2. Modalidades de evaluación según centro de interés del ciclo formativo. 
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1.5. Finalidad de la evaluación según niveles de responsabilidad en 
formación 


El énfasis y los objetivos de la evaluación son diferentes según las demandas de 
información se sitúen en uno u otro nivel en la cadena de decisiones del sistema de 
formación. Es decir, las cuestiones evaluativas que interesa responder y sus audiencias 
prioritarias son diferentes según se trate de evaluar políticas de formación, programas de 
formación o sesiones de formación. 

En la estructura organizativa de la formación pueden identificarse con claridad al 
menos tres niveles decisionales con objetivos y responsabilidades formativas y de 
evaluación diferentes (figura 1.1). Estos niveles corresponden a los siguientes 
protagonistas: 


= Dirección de formación y/o de recursos humanos: responsables de establecer 
las directrices generales de formación, que definen una política de formación y 
unos planes de formación. En este nivel se establecen las orientaciones básicas 
que en los sucesivos niveles se concretan en programas y acciones de 
formación. Desde la perspectiva de la dirección, el énfasis de la evaluación se 
coloca en la valoración de la política y de los planes de formación que la 
operativiza. Las cuestiones de evaluación que interesan en este nivel no son 
tanto referidas a un programa específico de formación, sino a la concepción del 
plan de formación, a su racionalización y planificación, a su puesta en marcha 
y desarrollo, y a los resultados que a medio o largo plazo se consiguen con la 
formación. 

— Gestión o coordinación de formación: responsables de organizar, programar y 
gestionar la formación. Son los responsables de diseñar los programas 
especificos de formación que marcan las orientaciones políticas y los planes de 
formación previstos en el nivel anterior. La evaluación en este nivel se 
concentra en valorar los programas particulares de formación, no como un 
conjunto de programas sino cada uno en su especificidad: sus objetivos y 
planificación, su puesta en marcha y desarrollo, y sus resultados en el puesto 
de trabajo. 

- Profesorado y monitores o monitoras de las sesiones de formación: 
responsables directos de los procesos de enseñanza-aprendizaje, encargados de 
planificar y realizar las sesiones formativas que exigen los programas de 
formación. La finalidad de la evaluación en este nivel es favorecer unas 
condiciones óptimas para el desarrollo del aprendizaje de los participantes; es 
un valioso instrumento en manos del docente para realizar los ajustes 
didácticos necesarios, sea al inicio, durante o al final de la sesión formativa. 
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Figura 1.1. La evaluación de la formación. 


Tomando como referencia un trabajo anterior (Cabrera, 1996), en el cuadro 1.3 se 
muestran, mediante una tabla de doble entrada, las finalidades, ejemplos de cuestiones de 
evaluación que son interesantes responder según la modalidad de evaluación que se trate 
y el nivel de gestión en que se ubique. 

No puede decirse que la evaluación de un nivel sea más importante que la del otro. 
Todas son relevantes y necesarias en principio. Lo que se pretende con esta presentación 
es ofrecer un cuadro amplio, a la vez que comprensivo, de los distintos objetivos que 
puede tener la evaluación de la formación en las organizaciones. Cualquier cuestión 
evaluativa que quiera hacerse tiene su ubicación en el cuadro y, por consiguiente, se 
define por el nivel de decisión donde se sitúe (política, programa o sesión formativa) y 
por la fase de la intervención formativa sobre la que actúa (planificación, desarrollo o 
resultados de la formación). En los sucesivos capítulos se presentan las estrategias y 
técnicas de evaluación específicas para estos diferentes niveles y modalidades de 
evaluación. 


1.6. Evaluar para controlar o para perfeccionar 


La evaluación puede utilizarse como un instrumento de control, de “rendición de 
cuentas” (evaluación sumativa o de control) o como un instrumento para perfeccionar, 
optimizar, la formación que se está haciendo (evaluación formativa o de 
perfeccionamiento). Esta diferenciación que puede parecer trivial, no lo es en absoluto, 
ya que incide en la misma naturaleza del proceso evaluativo; es decir, cómo debe 
plantearse la evaluación, qué usos deben darse a los resultados, qué personas deben 
intervenir, qué instrumentos son los más adecuados para recoger la información o 
quiénes son los principales interesados en sus resultados son cuestiones que se responden 
de diferente manera según la función de evaluación sea formativa o de control. 

Lo que distingue a estos dos tipos de evaluación es su naturaleza y no el objeto de 
evaluación, pues cualquier componente del ciclo de la formación se puede evaluar de una 
manera u otra. En otras palabras, la forma de proyectar y realizar la evaluación es 
diferente según se coloque el énfasis en el perfeccionamiento de lo que se está haciendo 
o en el control y demandas de responsabilidades de lo que se hace. 


Cuadro 1.3. Finalidades y cuestiones de evaluación según modalidad y nivel de 
decisiones. 
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Evaluación de la conceptualización 
y diseño de la formación 
(capítulo 3) 


Evaluación de la implementación 
y seguimiento de la formación 
(capítulo 4) 


Evaluación de resultados 
(capítulo 5) 


PLANES DE FORMACIÓN 


Dirección de formación 


Análisis valorativo del plan de formación: 


e ¿sobre qué bases se elabora? 

e ¿qué relación tiene con los problemas de fun- 
cionamiento, de estrategias, de futuro, etc. de 
la organización? 

e ¿tiene en cuenta las necesidades de las dife- 
rentes categorías de personal? 


Monitorización y seguimiento de la gestión de 
los planes de formación: 


e evaluación de la cobertura de la formación: 
¿está llegando la formación a su población 
objeto?, ¿qué desviaciones están ocurrien- 
do?, etc. 

e evaluación del esfuerzo y funcionamiento 
de la formación: ¿qué desviaciones se pro- 
ducen respecto a las actividades previstas?, 
etc. 

e evaluación de la productividad: ¿cuál es el 
rendimiento de las acciones de formación?, 
etc. 

e evaluación financiera: ¿cual es la tendencia de 
los costes en formación?, ¿qué costes superan 
las previsiones?, etc. 


A medio/largo plazo 


Evaluación del impacto: valoración de la inci- 
dencia de la formación en la organización: 


e ¿impacto sobre los parámetros de explotación? 

e ¿impacto socio-organizacional? 

* ¿impacto sobre los objetivos de la organiza- 
ción?, etc. 
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2. 


AIRIS e PI 


Coordinación de formación 


Análisis valorativo del diseño y racionalidad del 
programa: 


e ¿los objetivos/contenidos son los pertinentes a 
las necesidades? 

e ¿existe coherencia interna entre sus compo- 
nentes? 

» ¿el perfil del personal es el idóneo? 

e ¿los recursos son suficientes? 


Implementación y optimización de programas 
en proceso de desarrollo: 


e ¿se ha realizado una adecuada puesta en mar- 
cha del programa? 

e ¿se está realizando de la manera prevista? 

e ¿qué cambios deben hacerse para garantizar 
mejor la efectividad de sus resultados? 

e ¿cómo están reaccionando los participantes 
del programa? 

e ¿está teniendo efectos colaterales no previstos? 


A corto/medio plazo 
Evaluación de la efectividad: 


e transferencia al puesto de trabajo: ¿qué com- 
portamientos profesionales han mejorado?, etc. 


Evaluación de la eficiencia del programa: 
e análisis de coste-beneficio, 


e coste-utilidad 
e coste-efectividad 
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Profesorado 


Valoración de la estructura de la sesión: 


e ¿los objetivos pedagógicos están enunciados 
con claridad? 

e ¿el nivel de profundidad de los contenidos es 
suficiente? 

e ¿las estrategias de enseñanza específicas utili- 
zadas son adecuadas a los objetivos?, ¿a las 
características de los participantes? 


Valoración diagnóstica inicial de los participan- 
tes: adecuación del punto de partida: 


e ¿poseen los prerrequisitos? 
e ¿cuáles son sus expectativas? 


Evaluación formativa: mejora del proceso de 
enseñanza-aprendizaje: 


e ¿están aprendiendo los participantes? 

e ¿qué dificultades tienen? 

e ¿están siendo adecuadas las estrategias de 
enseñanza que se utilizan? 


Inmediata a la formación 


Evaluación de la eficacia: valoración de los apren- 
dizajes adquiridos: 


e ¿qué conocimientos se han adquirido? 
e ¿qué habilidades se han desarrollado? 


1.6.1. La evaluación de naturaleza formativa y pedagógica 


Una evaluación de esta naturaleza tiene la función de optimizar la formación a 
cualquier nivel, ayudando a los que la planifican y la realizan a encontrar las mejores 
alternativas de acción. Puede aplicarse en cualquier fase de un programa o intervención 
formativa con la finalidad de perfeccionarlo antes de considerarlo como un “producto 
acabado”: se valora su conceptualización y el diseño del programa, su aplicación y los 
resultados que se consiguen. 

Para que el propio proceso evaluativo se convierta en un proceso de reflexión y de 
mejora de lo que se evalúa, debe contarse con la participación de las personas afectadas 
por la evaluación. Éstas deben intervenir en todo el proceso evaluativo: en la 
determinación de los aspectos a evaluar, en la selección de los criterios a utilizar, en el 
uso que se hará de los resultados, en la elección de las técnicas y fuentes de recogida de 
información, en el análisis de la información, etc. 

Precisamente, el valor esencial de la evaluación formativa es utilizar el propio 
proceso de evaluación como instrumento dinamizador de los cambios necesarios para 
mejorar la formación. Las audiencias O personas interesadas en los resultados de una 
evaluación formativa es fundamentalmente el personal del programa. 


1.6.2. La evaluación como control 


En la evaluación sumativa o de control el énfasis se coloca más en un “rendir 
cuentas”, “pedir responsabilidades” (accountability); y el tipo de decisiones a las que 
sirve es de carácter administrativo e institucional. A igual que la formativa, su objeto de 
evaluación pueden ser todos o cualquier componente del ciclo formativo pero, a 
diferencia de aquélla, se trata de un proceso que se mantiene externo al programa. La 
función de control de la evaluación, como señala Bramley (1996), se relaciona con la 
política y la práctica de la formación en el nivel de las metas organizacionales, con el 
valor de la formación por su contribución a la organización, y con los costes que 
representa tal contribución; es una evaluación que trata de responder a la cuestión de si 
se está haciendo la formación que necesita la organización, a fin de tomar decisiones 
sobre continuar o no en la misma dirección. 

Estos dos tipos de evaluación no deben entenderse como contrapuestos sino más 
bien complementarios, ya que sirviendo a distintos propósitos dan cuenta de una misma 
realidad. Las cuestiones de la evaluación formativa y pedagógica son del tono siguiente: 
¿cómo se puede mejorar el programa?, ¿cómo se puede hacer más efectiva la 
intervención?, ¿qué actividades son las mejores para conseguir los objetivos?, ¿qué 
problemas tiene y cómo solucionarlos?, ¿cómo concienciar al personal de los cambios 


29 


que hay que realizar para mejorar?, ¿qué hacer para que el personal se implique en un 
proceso de reflexión y valoración sobre lo qué está haciendo? Mientras que las 
cuestiones de naturaleza sumativa se concentran más en el análisis global de la actividad 
y los resultados que consigue: ¿qué conclusiones pueden extraerse sobre los resultados 
del programa?, ¿cuál es el programa más eficiente?, ¿qué programas son posibles 
alternativas al programa X?, ¿cuán efectivo es el programa en comparación con otros? 

Más bien esta tipología habría que considerarla como un continuo, donde en un 
extremo se encuentra una evaluación de puro control y en el otro la evaluación 
puramente formativa. En la práctica, lo más frecuente es que la evaluación se sitúe a lo 
largo de este continuo, con una tendencia más hacia la derecha o izquierda según donde 
se coloque el énfasis de la evaluación, si en el control o en el perfeccionamiento. La 
siguiente escala tipo diferencial semántico (cuadro 1.4) recoge la idea de “contmuo” entre 
estos dos tipos de evaluación; se puede utilizar en una evaluación que se inicia o que ya 
se ha realizado para clarificar su énfasis formativo o de control (se toman como 
elementos de la escala los aspectos básicos que diferencian una evaluación de naturaleza 
formativa de otra de tipo sumativo o de control, recogidos por la autora en una obra 
anterior —Cabrera, 1998). 

Sim duda, el control conduce o debería conducir a la mejora de la calidad de lo que 
se evalúe. Ahora bien, cuando se trata de cambiar actitudes, formas de hacer, el control 
es del todo insuficiente, y, sin mejora de las actitudes, los cambios sólo serán 
superficiales. La evaluación debe ser formativa si se pretenden obtener cambios 
importantes y profundos. 


1.7. Eljuicio de valor 


Evaluar significa la emisión de un juicio de valor sobre la información que se ha 
recogido, y esto requiere disponer de algún referente con el que compararla. Este 
referente o término de comparación es el criterio de evaluación. Sin duda, determinar 
los criterios de evaluación para poder emitir el juicio de valor constituye el componente 
nuclear del proceso evaluativo y, se puede decir, su “talón de Aquiles”. La emisión de un 
juicio de valor requiere al menos los tres siguientes componentes: 


Cuadro 1.4. Escala para seleccionar la naturaleza de la evaluación que interesa 
realizar. 
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FORMATIVA 


un 


SUMATIVA.. 2.0 


Amplitud 


Finalidad perfeccionar [|] aprobar, certificar 
adecuar al contexto [||| | [] acreditar su mérito 

Valoración sugerencias de mejoras [|] mérito y valor para la organización 
Uso instrumento cambio [||]. []] instrumento de control de calidad 
Utilidad decisiones internas [| [[[] responsabilidad institucional 
Audiencias personal del programa [|] |] dirección/potenciales usuarios 
Evaluadores internos ||] [] externos 

informales LULI] formales 

frecuentes UUDDO periódicas 


descripciones específicas descripción global 


muestras pequeñas 
aspectos específicos 


muestras grandes 
comparación entre programas 


a) Seleccionar los criterios que se utilizarán para distinguir el éxito del no éxito. 


Cuando se dice que una experiencia ha tenido éxito, ¿qué se quiere decir 
realmente? Una buena forma para determinar los criterios de éxito es 
especificando cómo debería ser la experiencia formativa que se evalúa para 
considerarla como “buena”, y qué desviaciones la etiquetarían como “mala o 
errónea”. En cualquier proceso evaluativo la selección de los criterios se hace 
en estrecha relación con la finalidad de la evaluación y es una de las 
actividades iniciales básicas del proceso. 


b) Desarrollar los indicadores, sean cualitativos o cuantitativos, que ponen de 


manifiesto los criterios que se han seleccionado. Los indicadores muestran los 
aspectos específicos de la realidad sobre los que hay que recoger información, 
porque son realizaciones observables de los criterios. Su clara formulación es 
necesaria para decidir las fuentes y técnicas de obtención de información que 
se deben utilizar. 


c) Establecer los términos de la comparación fijando unos estándares o niveles 


en los criterios e indicadores que delimiten el grado de éxito conseguido o, 
simplemente, si se ha conseguido o no. Estos estándares pueden estar 
determinados por expertos, por comparación con situaciones anteriores, por 
comparación con otras experiencias, etc. Las distintas maneras de establecer 
estos niveles darán lugar a diferentes tipos de evaluación: absoluta, relativa y 
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de progreso, que más adelante se describirán. 


En síntesis, la evaluación consiste en recoger información sobre los criterios para 
emitir un juicio a partir de constatar si se han alcanzado o no los niveles establecidos 
como indicadores de éxito. No es tarea sencilla establecer criterios y niveles pero su 
determinación es del todo imprescindible para que pueda darse una evaluación; si ello no 
se hace, seguramente se estará recogiendo información para conocer, para indagar, para 
describir pero no para evaluar. 


1.7.1. Los criterios de evaluación 


En el ámbito de la formación se ha desarrollado un listado de criterios que tienen 
mayor o menor relevancia según el objeto de evaluación. Tomando como referencia los 
listados propuestos por Le Boterf (1985), Pain (1993) y Bramley (1996), a continuación 
se presentan las áreas de las que derivan criterios específicos. 


— Pertinencia. Los criterios que se incluyen en esta área se refieren a las razones 
que justifican las decisiones y los cursos de acción que derivan de ellas, de 
modo que respondan al problema que se pretende solucionar o a la necesidad 
formativa que se quiere satisfacer. Se trata de criterios que pretenden valorar la 
relevancia y utilidad de la formación en el medio donde opera, de su capacidad 
para responder a las necesidades que la originaron. 

— Coherencia. En esta área los criterios valorativos se refieren a la coherencia de 
las decisiones entre los elementos internos del propio sistema de formación 
(coherencia entre los objetivos, entre éstos y los métodos de enseñanza, por 
ejemplo), y entre éste y los sistemas externos de la organización (recursos 
disponibles, clima organizacional, política de recursos humanos, valores de la 
organización, plan estratégico de la empresa, etc.). 

—  Suficiencia. Comprende los criterios relacionados con el número de las acciones 
para conseguir los propósitos que se persiguen. Así, por ejemplo, entra en esta 
categoría de criterio valorar en qué medida los objetivos y contenidos de la 
formación son suficientes para cubrir las lagunas formativas, o en qué medida 
son suficientes las sesiones de formación para conseguir los objetivos, o los 
ejercicios de aprendizaje de los distintos temas, etc. 

- Conformidad o legalidad. En esta área los criterios se utilizan para valorar en 
qué medida se respeta la normativa legal correspondiente, los reglamentos 
internos, los acuerdos establecidos, las convenciones, las disposiciones 
contractuales, etc. 

— Oportunidad. Son criterios relativos al uso oportuno del tiempo, a la 
sincronización y oportunidad de las acciones emprendidas. Se utilizan cuando 
se valora, por ejemplo, el grado en que las acciones se han realizado en su 
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EL Le 


momento oportuno, ni prematura ni tardíamente, y si su ritmo ha sido el 
adecuado. 

Aceptación. Otra área importante de criterios para valorar la formación es el 
nivel de aceptación y satisfacción por parte de sus usuarios directos e 
indirectos. Es el criterio que hasta el momento más se ha utilizado en el campo 
de la formación: la reacción de los asistentes a los cursos, su nivel de 
satisfacción, la adecuación a sus expectativas, etc. 

Eficacia. Estos criterios se relacionan con la valoración de los efectos 
inmediatos de la formación. Valoran el grado en que se han conseguido los 
objetivos pedagógicos de la formación; es decir, nivel de conocimientos 
adquiridos, habilidades desarrolladas, cambio de actitudes, etc. Pueden 
referirse tanto a efectos pretendidos como no pretendidos. 

Efectividad. Estos criterios se refieren a la utilidad de los resultados de la 
formación para satisfacer la necesidad o solucionar el problema que dio origen 
a la actividad formativa. Se relacionan con la transferencia al puesto de trabajo 
o a la vida personal de lo aprendido en las actividades formativas. Son criterios 
de resultados a medio plazo. 

Impacto. En esta área los criterios de valoración se refieren a resultados de la 
formación a largo plazo. Toma en consideración los efectos de la formación 
más allá de las personas directamente implicadas en ella; los efectos de la 
formación en los objetivos y metas de la organización. 

Eficiencia. En este caso se trata de criterios que ponen en relación los 
resultados conseguidos con los costes efectuados. Se utilizan cuando se trata 
de analizar la rentabilidad y la productividad de las acciones formativas. 


Los estándares. La evaluación absoluta, relativa y de progreso 


Se ha señalado en párrafos anteriores que una vez seleccionados los criterios de 
valoración es necesario establecer los niveles o estándar de realización aceptable y no 
aceptable para cada uno de ellos. Los estándares o normas reflejan la magnitud de la 
diferencia con el referente que es suficientemente significativa para emitir un juicio 
positivo. Los estándares pueden ser absolutos, relativos o de progreso según el patrón 
referencial que se utilice, dando lugar a los tres tipos de evaluación siguientes: 


Evaluación relativa (también denominada normativa). El nivel de referencia lo 
determina un grupo de referencia con el que se establece la comparación. Así, 
en una evaluación de resultados, para valorar los niveles obtenidos por un 
grupo se comparan con los niveles alcanzados por otro u otros grupos que se 
adoptan como referentes. Estos niveles referenciales pueden ser los siguientes: 
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* El nivel alcanzado por un grupo de similares características pero que no ha 
recibido ningún programa. 

+ El nivel alcanzado por un grupo de similares características pero que ha 
recibido un programa alternativo. 

+ El nivel considerado como normal o normativo para la población a la que 
pertenece el grupo que ha recibido el programa. 


= Evaluación absoluta. Supone establecer a priori el nivel de resultados que se 
considera idóneo, es decir, lo mejor que cabría esperar puesto que de 
conseguirse se satisface la necesidad inicial o se elimina el problema. En este 
caso, los niveles se establecen en relación con las necesidades formativas a 
satisfacer, y el programa es calificado como “buen programa” porque consigue 
los objetivos pretendidos, siendo irrelevante la comparación con otros 
programas. 

— Evaluación de progreso. El nivel se establece a partir de la situación inicial o 
punto del que se parte. Se considera un éxito haber reducido de forma 
significativa el nivel inicial de la necesidad o del problema. Es necesario 
determinar el nivel de reducción representativo del éxito, por ejemplo, puede 
considerarse un éxito si al final del programa se consigue: ¿una disminución del 
75% de los errores?, una reducción del tiempo de trámite ¿de cuánto?, ¿un 
25% de aumento en las solicitudes tramitadas?, etc. 


Estos tipos de evaluación adquieren su más amplio sentido en la valoración de los 
resultados de la formación (figura 1.2). Todos tienen sus usos específicos, sus ventajas y 
limitaciones. En la evaluación de la formación en las organizaciones, la evaluación 
absoluta y la de progreso son las de mayor utilidad, puesto que son evaluaciones 
relacionadas con los objetivos que deben alcanzarse para satisfacer las necesidades o 
solucionar el problema que dio origen a la formación. 

Las evaluaciones relativas, que pueden ser importantes en otros contextos, como, 
por ejemplo, en programas sociales de salud en que las comparaciones con niveles 
estándares de la población son frecuentes, en el caso de la formación en las 
organizaciones tienen poca utilidad. Se utilizan básicamente para realizar estudios 
evaluativos sobre la eficacia de programas alternativos, o cuando se implementa un 
programa en varios contextos a fin de analizar los efectos de aspectos relativos a la 
implementación y al contexto en los resultados obtenidos. 
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Evaluación absoluta 


Niveles que 
se pretenden 
alcanzar 


Actividades | Comparación 


Resultados 


CONDICIONES 


Y Clara formulación y 
especificación de los 
objetivos pedagógi- 
cos/profesionales que 
se esperan alcanzar 

Y” Establecer niveles de 
logros considerados 
como aceptables 


Evaluación relativa 


Niveles normales 
o alcanzados 
por un grupo 
de referencia 


Objetivos 


Actividades | Comparación 


Resultados 


CONDICIONES 


Y” Similares características 


entre los grupos 


Y” Igualdad en las condi- 


ciones de obtención de 
información 


Evaluación de progreso 


Nivel de mejora 
respecto a la 
situación anterior 


A 


Nivel inicial 


Comparación 


Resultados 


CONDICIONES 


Y” Medidas pre- y postpro- 
grama deben referirse a 
los mismos aspectos 

Y” Condiciones de recogi- 
da de información simi- 
lares en los dos momen- 
tos 


Figura 1.2. Tipos de evaluación según referentes. 


1.8. Evaluación interna y evaluación externa 


Los términos de interna y externa se utilizan para distinguir dos tipos de evaluaciones 
según el evaluador pertenezca al personal del programa que se evalúa o se trate de una 
persona exterior a él. Ambos tipos de evaluaciones obviamente tienen sus ventajas y 
limitaciones; es más, las ventajas de una representan las limitaciones de la otra y 
viceversa. 

En el cuadro 1.5 se presentan las ventajas y limitaciones más relevantes asociadas a 
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las evaluaciones interna y externa. Las respectivas condiciones de estos dos tipos de 
evaluación se deben observar con precaución, puesto que en algunas ocasiones no 
necesariamente ocurren en el sentido expuesto. Por ejemplo, la inicial ventaja de la 
independencia financiera y administrativa respecto al programa del evaluador externo, 
puede no darse cuando éste “desea contentar a su cliente”. Lo mismo puede decirse 
respecto a la aceptación de la evaluación por el personal del programa: si bien parece que 
la interna goza de mayor aceptación que la externa, esta aceptación depende mucho de la 
forma en que se plantee y de la existencia o no de grupos de interés entre el personal. 


Cuadro 1.5. Tipos de evaluación según la relación del evaluador con el objeto 


evaluado. 
Ventajas e Mayor conocimiento y comprensión + Objetividad. Punto de vista exterior, 
del objeto que se evalúa garantía de imparcialidad 
e Mayor conocimiento de detalles + Identificación de componentes cla- 
contextuales del programa ve 
e Mayor potencialidad de uso de los * Mayor independencia respecto a la 
resultados vida del programa 


e Mayor aceptación entre el personal + Mayor credibilidad social 
del programa 


e Menor objetividad e imparcialidad + Menor conocimiento de los aspec- 
e Dependencia administrativa y finan- — tos internos del programa 
ciera del programa e Menor potencialidad para mejorar 
e Centrarse en detalles no relevantes el programa 
para el programa e Menor aceptación por parte del per- 
sonal 
e Más costosa 


Inconvenientes 


La elección de un tipo u otro de evaluación no se debe hacer sin considerar qué es lo 
que se quiere evaluar, cómo se desea hacerla y qué utilidad quiere darse a los resultados. 
Deben tomarse en cuenta las ventajas y limitaciones de cada una de estas evaluaciones y 
analizarlas desde la óptica, al menos, de los tres aspectos siguientes: 


a) Las garantías de objetividad que necesitan los resultados de la evaluación a fin 
de asegurar una mayor credibilidad social: en este caso, la presencia de un 
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evaluador externo al programa aporta unos conocimientos técnicos al proceso 
de evaluación, sobre todo en la fase de recoger información, de analizarla e 
interpretarla, que avalan la validez y confiabilidad de los resultados. 

b) La incidencia de los resultados de la evaluación para mejorar el programa: en 
este caso, cuando la evaluación se hace desde dentro, al ser realizada por los 
propios profesionales que ejecutan el programa, es más fácil que se desarrollen 
los mecanismos necesarios para realizar los cambios que mejoran lo que se 
evalúa. 

c) El momento en el que se realiza la evaluación: para valorar un programa que está 
funcionando, determinar su implementación y los progresos que consigue, la 
evaluación interna parece más adecuada; cuando se trata de un programa 
acabado y se busca valorar qué resultados y efectos se han logrado, la 
evaluación externa puede resultar más útil. 


No debe entenderse esta distinción entre evaluación interna y externa como 
elecciones necesariamente excluyentes, o la una o la otra. Al contrario, lo óptimo son las 
situaciones mixtas, donde las ventajas y desventajas de una y otra se compensan. Se 
forma un equipo de evaluación que comprenda personal interno que aporta su 
conocimiento y familiaridad con lo que se evalúa, y personal externo, o menos implicado, 
que aporta una visión más objetiva y técnica. En la composición del equipo, el peso de 
uno y otro personal estará en relación con las ventajas que se deseen potenciar y las 
limitaciones que se quieran evitar. 
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El proceso de evaluación 


Es cierto que la evaluación se debe incorporar a las actividades de formación de una 
manera espontánea y natural, recurriendo a ella en todo momento a fin de comprender 
mejor lo que se hace, por qué se hace y cómo hacerlo mejor. No obstante, a menudo se 
requieren procesos de evaluación sistemáticos y formales con el fin de aportar evidencias 
creíbles y válidas para muchas audiencias sobre el objeto evaluado. Es desde esta óptica 
de evaluación sistemática como se plantea el proceso de evaluación descrito en el 
capítulo. 

Aun reconociéndose el valor intrínseco de la evaluación, cuando se trata de plantear 
una evaluación formal, que exige inversiones importantes de personal, económicas, de 
tiempo, etc., razones prácticas aconsejan que se pongan en relación los beneficios que se 
obtienen de la evaluación con los esfuerzos que se requieren, a fin de dar una respuesta 
más realista a la pregunta: ¿Evaluar, sí o no? Desde esta óptica, posiblemente sería más 
acertado plantear la pregunta sobre la decisión de evaluar o no en los siguientes términos: 
¿justifican los resultados que se obtendrán con la evaluación los esfuerzos de todo tipo 
que ella implica? 

Entiéndase bien que las consideraciones que se hacen en este capítulo sobre la 
oportunidad o no de evaluar se refieren a evaluaciones formales, encargadas por alguna 
autoridad y donde el énfasis se coloca en el informe de sus resultados. No se debe caer 
en el error de entender que evaluar sólo tiene sentido si de sus resultados se deriva algún 
tipo de acción. En la actualidad, aun reconociéndose la relevancia de la evaluación en un 
proceso de toma de decisiones, el valor más importante que se le atribuye es su 
capacidad para sensibilizar, capacitar y transformar a las personas que participan en ella 
y, en consecuencia, no se cuestiona su valor intrínseco. 


2.1. ¿Debemos evaluar todo lo que hacemos? 


Una pregunta que surge inevitable es si debería evaluarse todo lo que se hace dado 
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el mérito que se le reconoce a la evaluación. La respuesta indudablemente es un sí 
rotundo cuando el acento se coloca en el potencial de transformación, de cambio, de 
capacitación que tiene el mismo proceso evaluativo para las personas que participan y 
para el objeto que se evalúa. Como se ha comentado en el capítulo anterior, los efectos 
de la evaluación pueden ser más importantes y significativos por el mismo hecho de 
realizarla que por los resultados que se obtienen: la participación y los esfuerzos 
realizados contribuyen a una mejor comprensión del objeto evaluado y a una mayor 
sensibilidad entre el personal por los cambios que deben realizarse. Esta dimensión 
educativa de la evaluación constituye su valor intrínseco innegable y hace incuestionable 
su utilidad en cualquier proceso de formación. 

Sin embargo, desde la perspectiva de una evaluación formal en que el acento se 
coloca en los resultados de la evaluación, hay que preguntarse sobre la existencia de un 
conjunto de condiciones que justifiquen los esfuerzos necesarios de la evaluación. La 
evaluación parece valiosa cuando la información que proporcionan sus resultados son 
útiles y sus beneficios probables justifican los esfuerzos de todo tipo realizados. Aspectos 
tales como los que se exponen a continuación deben ser objeto de reflexión por parte del 
personal evaluador para decidir si merece la pena o no emprender una evaluación 
sistemática. 


* Garantías de que la evaluación sirva para algo y alguien. Uno de los 
problemas más denunciados en los trabajos evaluativos es el poco uso que se da 
a sus resultados en los procesos de toma de decisiones; una de las situaciones 
más frustrantes para el evaluador es comprobar que sus informes no se 
consultan y, muchas veces, ni se abren cuando sus conclusiones contradicen 
nociones preconcebidas o posiciones que no toleran ser cuestionadas. A veces, 
la evaluación se realiza por motivos poco claros, como un ritual que debe 
hacerse para justificar precisamente que se hace evaluación (sea por razones 
normativas, políticas, etc.), pero no por el convencimiento claro de que sus 
resultados sirven para algo. 

Vale la pena afrontar los costos de una evaluación formal cuando sus 
resultados son relevantes para lo que se evalúa, para mejorar su 
funcionamiento, para determinar si cubre las necesidades para las que fue 
creado, para justificar las inversiones que se hacen, para elegir el mejor 
programa entre varios alternativos, para adoptarse o no un programa, etcétera. 
Teóricamente sí que existen muchas razones que justifican la evaluación pero es 
necesario también una voluntad política; es decir, la existencia de una decisión 
firme y clara de las instancias pertinentes, situadas en el nivel que fuese del 
sistema de formación, por plantear la evaluación y asumir con responsabilidad 
sus resultados. 

e Relevancia del objeto de evaluación que la justifique. Otro criterio decisivo 
para comenzar a plantear una evaluación se refiere a la importancia y alcance de 
lo que se desea evaluar. Se trata de asegurar que la relevancia de lo que se 
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evalúa justifica los gastos de la evaluación. Así, por ejemplo, son importantes y 
justifican una evaluación formal los programas de formación que consumen 
muchos recursos, o los programas piloto que posteriormente se hacen 
extensivos a otras personas o a otros contextos, etc. 

e Viabilidad conceptual y metodológica de lo que se evalúa. Se considera la 
plausibilidad de una evaluación analizándose, de una parte, la calidad de lo que 
se pretende evaluar y, de otra, los problemas técnico-metodológicos que 
comporta su evaluación. Cuando lo que se evalúa está bien conceptualizado y 
claramente definidas sus metas y objetivos y especificados sus actividades y 
métodos de trabajo, la evaluación es relativamente fácil. Pero cuando se trata de 
algo poco estructurado, desorganizado, con objetivos muy vagos, ineficazmente 
diseñado, la evaluación resulta problemática. 

Por otra parte, es importante analizar las barreras que desde el punto de 
vista técnico y metodológico pueden limitar la evaluación. Se deben estudiar las 
posibilidades de recoger información sobre algunos objetivos de evaluación 
(sean por limitaciones técnicas, sean por su excesivo costo, etc.) o de aplicar el 
diseño evaluativo metodológico más apropiado para la finalidad de la 
evaluación. 

Estos aspectos se analizarán con mayor detenimiento cuando se aborde la 
evaluabilidad de los programas de formación en el capítulo 5, dedicado a la 
evaluación de resultados de la formación. 

e Viabilidad política. Es importante pensar en las limitaciones que posibles 
conflictos de intereses pueden impedir el desarrollo normal de la evaluación. 
Debe asegurarse la aceptación de la evaluación por parte de los implicados 
(dirección, responsables operativos, participantes, etc.) y analizarse los posibles 
obstáculos que pueden surgir. Sin acuerdo entre las partes interesadas, la 
evaluación pierde credibilidad y legitimidad, y, en consecuencia, hay muchas 
probabilidades de que sus resultados sean desestimados. 

* Oportunidad de los resultados de la evaluación. La gestión del tiempo en 
evaluación es muy importante. Si una evaluación no se puede realizar en el 
tiempo adecuado para que sus resultados se dispongan cuando se necesitan, no 
debería emprenderse puesto que serán bastante inútiles los esfuerzos dedicados. 
En ocasiones, sólo la recogida de información puede suponer tal cantidad de 
tiempo que pone en peligro la utilidad de la evaluación por no disponer de los 
resultados en el momento oportuno. 

Una de las preocupaciones más importantes hoy entre los evaluadores y 
evaluadoras es conseguir que las evaluaciones sean útiles, haciendo hincapié 
sobre todo en dos aspectos: que se centren en proporcionar información 
relevante y que los resultados lleguen a tiempo. 

* Personal preparado para realizarla. El proceso evaluativo comporta un 
componente técnico y una dimensión humana que requiere una preparación 
específica por parte del personal que la realiza. El evaluador debe tener 
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conocimientos y habilidades técnicas relativas a aspectos tales como diseños de 
evaluación, elaboración de instrumentos, análisis e interpretación de 
información, confección de informes evaluativos, etc. Además de habilidades 
técnicas, el proceso de evaluación requiere habilidades sociales, de interacción 
con los otros, de saber negociar y buscar el consenso de intereses, de motivar a 
la participación, etc. La calidad técnica y humana del evaluador y evaluadora es 
un factor decisivo para la credibilidad de los resultados de la evaluación. 

e Viabilidad financiera. Indudablemente también una de las limitaciones que se 
ha de tener en cuenta en el momento de plantear una evaluación formal deriva 
del presupuesto que se le asigna. Es obvio que no necesariamente una 
evaluación costosa es una buena evaluación, pero sí que el presupuesto 
asignado a una evaluación es una condición a considerar en el momento de 
establecer el alcance de sus objetivos. 


En el cuadro 2.1 se presenta un listado de los aspectos a considerar para determinar 
en qué medida una evaluación formal centrada en la utilidad del informe evaluativo 
verdaderamente merece la pena plantearse. Se señala en el caso de las celdillas del NO la 
sugerencia al respecto más oportuna. 


2.2. Componentes del proceso de evaluación 


La evaluación se lleva a cabo mediante un proceso que exige un cuidadoso plan de 
actuación. Más bien puede decirse que no se trata de un único proceso, sino de un 
conjunto de procesos articulados entre sí; esto es, la evaluación no puede identificarse 
con un acto (pasar una prueba o aplicar un cuestionario), sino con un conjunto de 
operaciones evaluativas contempladas bajo el prisma de que forman un proceso que 
conduce a un mismo fin: emitir un juicio de valor. Vistos así, los actos evaluativos no son 
independientes unos de otros, pueden pertenecer a diferentes momentos o fases del 
proceso evaluativo pero son interactivos entre ellos. 


Cuadro 2.1. Lista de control para analizar la oportunidad o no de realizar una 
evaluación formal centrada en el uso de los resultados. 
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UTILIDAD Continuar La evaluación 
¿Existe voluntad política de usar es superflua 
los resultados? 


RELEVANCIA Continuar Es innecesaria 
¿Tiene suficiente importancia lo que e injustificada 
desea evaluar para justificar 
la evaluación formal? 
¿Los beneficios que se obtienen con 
la evaluación justifican sus gastos? 


VIABILIDAD CONCEPTUAL Continuar Espere y clarifique 
Y METODOLÓGICA previamente 
¿Está suficientemente estructurado, No siga O limite el 
definido e implementado el objeto alcance de la 
de evaluación? evaluación 


¿Se puede asegurar la validez 
y la fiabilidad de los resultados? 


VIABILIDAD POLÍTICA Continuar Negocie los posibles 
¿Hay consenso y aceptación entre conflictos de intereses 
el personal clave sobre la evaluación? antes de continuar 
OPORTUNIDAD Continuar No merece la pena 
DE LOS RESULTADOS continuar: la evaluación 
¿Se obtendrán los resultados cuando será superflua 
se necesitan? 
PERSONAL PREPARADO Continuar Contrate la ayuda 
¿Se dispone del personal con la técnica necesaria 
preparación técnica y humana 
necesaria? 
VIABILIDAD FINANCIERA Continuar Replantee la amplitud 
¿Existen los medios? de la evaluación 


MEE a 


Fuente: Adaptado de B. R. Worthem, J. R. Sanders y J. L. Fitzpatrick (1997). 


Las distintas fases del proceso de evaluación son de naturaleza multidimensional; 
en cada momento el evaluador o evaluadora tiene ante sí distintas alternativas de acción, 
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de las cuales debe seleccionar la más adecuada para la evaluación que realiza. Este 
enfoque multidimensional del proceso deja muy atrás la concepción tradicional de la 
evaluación como control de los resultados esperados, centrada en la valoración del 
alumnado y ubicada al final del proceso formativo. En cambio, en la actualidad la 
evaluación tiene múltiples finalidades y objetos de evaluación, utiliza una amplia gama de 
instrumentos evaluativos, puede recurrir a fuentes de información muy variadas y 
ubicarse en cualquier momento del ciclo formativo. Todo ello evidentemente hace más 
complejo el proceso evaluativo pero, también, más potente como instrumento al servicio 
de la mejora y optimización de la formación. 

Como es obvio, después del enorme desarrollo que la evaluación ha sufrido en estas 
dos últimas décadas no existe una única posición sobre las fases o etapas de un proceso 
de evaluación. Autores que han tratado el tema (Buckley y Caple, 1990; Fernández- 
Ballesteros, 1995; Worthen, Sanders, y Fitzpatrick,1997; entre otros), hacen sus 
propuestas intentando presentar de forma organizada y coherente las operaciones que 
conforman el proceso de evaluación. 

Una manera bastante comprensiva es distinguir cuatro momentos o fases del proceso 
relativamente bien diferenciadas; a saber: 


— Primera fase. Delimitar la finalidad y el alcance de la evaluación. Es la fase 
en la que se determina qué tipo de evaluación es posible hacer teniendo en 
cuenta la calidad de lo que se evalúa y las limitaciones metodológicas y 
políticas o de grupos de interés. 

— Segunda fase. Planificación de la evaluación. Es la fase donde las personas 
interesadas en la evaluación se implican de manera decisiva. Su participación 
permite seleccionar las preguntas que se deben responder, los criterios que 
permiten diferenciar entre “lo bueno y lo malo”, así como las fuentes y 
procedimientos de recogida de información más adecuados. 

— Tercera fase. Recogida, análisis e interpretación de los datos. Es la fase 
técnica por excelencia de la evaluación. Es el momento de velar por el rigor del 
proceso evaluativo, tanto por lo que se refiere a la calidad de los 
procedimientos e instrumentos que se utilizan para obtener la información, 
como por la precisión y exactitud en su aplicación, análisis e interpretación de 
los datos u observaciones registradas. 

— Cuarta fase. Elaboración del informe y difusión de los resultados. Es una fase 
importante ya que la manera como se presenten y divulguen los resultados de 
la evaluación condiciona en gran medida la utilidad del esfuerzo realizado. 


En su concepción tradicional, el énfasis del proceso evaluativo se colocaba en la 
tercera fase, es decir, en el componente más técnico del proceso. En la actualidad, aun 
reconociendo e insistiendo en la necesidad de que la recogida de información y el análisis 
de los datos debe hacerse con rigor, es una fase dependiente de las anteriores, que son las 
que delimitan el contexto y las audiencias de la evaluación y, por ello, cruciales para el 
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buen desarrollo y eficacia de la misma. 

Estas fases y las tareas evaluativas que implican no deben contemplarse ni tratarse 
como una secuencia lineal rígida e irreversible. Es más, en muchas ocasiones, sobre todo 
cuando el objeto de evaluación es complejo, algunas tareas de una fase se clarificarán 
cuando se definan otras cuestiones de una fase posterior e, incluso, sufrir alguna 
modificación en la medida en que así lo exija el propio proceso. 

La evaluación debe entenderse como un proceso abierto, flexible y, en muchas 
situaciones, emergente. No se pierda de vista que el proceso de evaluación será tanto o 
más eficaz cuanto sus planteamientos sean suficientemente flexibles para atender a 
cuestiones realmente útiles, que proporcionen información relevante sobre el programa o 
sobre cualquier componente de él. En cualquier momento del proceso pueden emerger 
cuestiones de evaluación que interesa responder y que no fueron planteadas inicialmente 
(cuadro 2.2). 

En su concepción actual, un principio ampliamente compartido por teóricos y 
prácticos es que debe favorecerse la participación de las personas con legítimos intereses 
en el proceso de evaluación; seguramente con un nivel de implicación mayor en unas 
fases que en otras, y dependiendo del modelo y la naturaleza de la evaluación. 

Aun reconociéndose el carácter flexible y emergente del proceso, se debe partir de 
un plan de acción sistemático y no caer en la improvisación o en dejarse llevar por los 
acontecimientos. La estructuración de tareas, que en los puntos siguientes se expone para 
cada una de las etapas o fases, pretende ser sólo una propuesta organizada sobre los 
componentes de un proceso evaluativo. El énfasis en una u otra fase, incluso la secuencia 
prevista, la forma de realizarla, etc., dependen del modelo de evaluación al que se 
adscribe el proceso. 


Cuadro 2.2. Fases de una evaluación sistemática y formal. 
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PRIMERA FASE 


* Origen y necesidad de la 
evaluación 


e Valorar la viabilidad de la 
evaluación 


e Equipo de evaluación 


* Finalidad y objeto de eva- 
luación 


e Naturaleza de la evalua- 
ción 


e Especificar los criterios de 
evaluación y las cuestio- 
nes específicas que la eva- 
luación debe responder 


E 


. CUESTIONES QUE GUÍAN 
) DE EVALUACIÓN: 


¿Quién necesita la evaluación? 

¿Qué uso se le dará a los resultados? 
¿Quiénes son las audiencias de la evaluación? 
¿Quién o quiénes utilizarán los resultados? 
¿Quién debe ser informado? 


+ ¿Se trata de un programa claramente defini- 


do? 


* ¿La implementación se ha ajustado al diseño 


previsto? 


* ¿Qué tipo de metodología y técnicas de eva- 


luación se pueden utilizar? (ver capítulo 5) 


e ¿Quiénes son las “partes interesadas” que 


deben estar representadas en el equipo de eva- 
luación? 

¿Se contratará personal técnico exterior? 
¿Cuántos? 


e ¿Tiene credibilidad el equipo evaluador? 


¿Qué se espera de la evaluación? 

¿Qué se quiere saber con la evaluación? 
¿Cuál es el centro de interés de la evaluación? 
¿Qué se evaluará? Descripción del objeto de 
evaluación 


¿Evaluación principalmente formativa o suma- 
tiva? 

¿Interna, externa o mixta? 

¿Cuál será el énfasis metodológico? 
¿Cualitativo? ¿Cuantitativo? ¿Mixto? 

¿Se seguirá algún modelo de evaluación en 
particular? 


¿Cómo y quién participa en la selección de 
las preguntas que la evaluación debe respon- 
der? 

¿Qué criterios y referentes se utilizarán para 
responder a las preguntas de evaluación? 
¿Cuáles son las cuestiones específicas que la 
evaluación debe responder? 
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SEGUNDA FASE 


TERCERA FASE 


CUARTA FASE 


+ Establecer el plan de reco- + ¿Cuál es la información necesaria? 
gida de información + ¿Cuál es el diseño de la evaluación? 

* ¿Qué procedimiento/s se utilizarán y quién los 
aplicará? 

e ¿Cuáles son las fuentes de información? 

e ¿Cómo se relaciona el plan de recogida de 
información con las cuestiones de evaluación 
que deben responderse? 

* ¿Cuál es la temporalización prevista para las 
tareas de evaluación? 


e Elaboración/selección de + ¿Cómo se seleccionará la muestra? 
los instrumentos de eva- * ¿De qué manera se garantizará la validez y 
luación fiabilidad de los instrumentos de recogida de 
información? 
* ¿Cómo se asegurará una correcta aplicación 
de los instrumentos y procedimientos de eva- 
luación? 


e Análisis de la información + ¿Qué análisis estadístico se hará para respon- 
cuantitativa y cualitativa der a cada cuestión de evaluación? 
+ ¿Cómo se analizará la información cuantitati- 
va? 
+ ¿Cómo se analizará la cualitativa? 


e Interpretación de la infor- + ¿Con qué se compararán los resultados para 
mación interpretarlos? 
e ¿Cuáles son los niveles que deben presentar 
los resultados para emitir un juicio positivo? 
e ¿Cuán grande debe ser la distancia con el patrón 
comparativo para emitir un juicio positivo? 


e Proceso de devolución y * ¿Con quién o quiénes se contrastarán las pri- 
contrastación de la infor- meras interpretaciones? 
mación con las distintas 
audiencias 


e Elaboración del informe + ¿Qué y cómo se informará a las distintas 
audiencias? 
+ ¿Cuál será el contenido específico del o los 
informes? 


e Difusión de los resultados + ¿Publicación del informe? ¿Cómo? 
¿Distribución? 
e ¿Qué operaciones hacer para asegurar el uso 
de los resultados de la evaluación? 
* ¿Exposición de resultados? 
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2.2.1. Primera fase. Delimitar la finalidad y el alcance de la evaluación 


Como se describía al inicio de este capítulo, antes de iniciar un planteamiento 
evaluativo es necesario determinar si merece la pena y si es viable realizar la evaluación o 
qué tipo de evaluación puede hacerse. Es, también, el momento de valorar la 
evaluabilidad del programa de formación tal como se describe en el capítulo 5, donde se 
expone la evaluación de resultados. En esta fase se forma el equipo de evaluación y se 
determina el tipo de evaluación más adecuado a las finalidades y objeto de evaluación. 
Sin que su exposición represente un orden lineal, esta fase comprende al menos los 
objetivos siguientes: 


+  Clarificar el origen y la necesidad de la evaluación. Es importante desde el primer 
momento determinar y comprender el porqué se origina una demanda de 
evaluación y cuál es su finalidad y propósitos. Se valoran las razones que 
justifican la evaluación y el grado en que previsiblemente se utilizarán sus 
resultados. 

e Valorar la viabilidad de la evaluación. No basta justificar la necesidad de realizar 
la evaluación y delimitar su objeto y finalidad, es necesario que se den un 
conjunto de condiciones internas y contextúales para que la evaluación sea 
viable. No se expone aquí algo que se referirá con mayor detalle más adelante 
fla viabilidad de la evaluación de resultados, en el capítulo 5), pero sí señalar 
que en el momento de describir el objeto de evaluación debe valorarse la calidad 
del mismo a fin de asegurar que es evaluable. Así, un programa formativo 
pobremente definido, con unas metas poco claras y ambiguas es muy difícil, si 
no imposible, de evaluar; igualmente puede decirse de un programa con graves 
deficiencias en su implementación y funcionamiento. 

También es el momento de plantear las posibles limitaciones metodológicas 
que pueden darse respecto al diseño de evaluación y a los procedimientos de 
recogida de información, y que aconsejan un reajuste o limitación de las 
finalidades de la evaluación. 

Se analizan aspectos contextúales de la evaluación que pueden representar 
barreras o impedimentos al inicio o durante el proceso. Es importante 
determinar desde el principio de la evaluación aspectos tales como: el nivel de 
aceptación de la evaluación entre el personal del programa, el grado de acuerdo 
sobre sus finalidades, sobre el uso que se hará de los resultados, etc. 

* Formar el equipo de evaluación. Se debe plantear desde el inicio el equipo de 
evaluación. Su configuración se debe hacer reflexiva y cuidadosamente, ya que 
tiene gran impacto sobre la credibilidad de la evaluación. La cuestión clave que 
se plantea es el carácter interno o externo del grupo de trabajo responsable del 
proceso evaluativo. Como ya se describió en su momento, cada tipo de 
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configuración tiene sus ventajas y limitaciones. Si el acento de la evaluación se 
coloca en el “control” y en la “rendición de cuentas”, se impone un grupo donde 
domine la presencia de personas técnicas e independientes respecto al diseño, 
realización y futuro de lo que se evalúa. 

Si, en cambio, el énfasis se coloca en la mejora y optimización de lo que se 
evalúa, en el carácter formativo que tiene el mismo proceso para las personas 
implicadas, se impone un equipo de evaluación que integre de manera prioritaria 
a las “partes interesadas” implicándolas de lleno en las tareas evaluativas. 

Es el momento de establecer un acuerdo, convenio o memorándum entre el 
evaluador o equipo de evaluación y la persona u organismo que demanda la 
evaluación. Puede ser necesario, según las circunstancias, que se firme un 
contrato formal donde se estipulen, como mínimo, los objetivos de evaluación, 
procedimientos que se llevarán a cabo para realizarla, límite de tiempo para 
presentar el informe evaluativo y las condiciones económicas a las que debe 
ajustarse. No conviene elaborar contratos demasiados detallados que limiten la 
capacidad creativa del equipo de evaluación o la posibilidad de introducir 
cambios en los objetivos o procedimientos de evaluación en el transcurso de la 
evaluación. 

+ Determinar la finalidad y el objeto de la evaluación. Con frecuencia, la finalidad 
y los propósitos de la evaluación no están suficientemente claros, incluso ni para 
la persona que la demanda. Es preciso, antes de iniciar cualquier actividad 
evaluativa, hacer el esfuerzo de definir con claridad el propósito de la evaluación 
y describir el objeto de evaluación. La razón es simple e importante: las 
finalidades de la evaluación condicionan de manera decisiva los criterios de 
evaluación, las fuentes de información, los instrumentos a utilizar, los tipos de 
informes que se harán, etc.; es decir, delimitan las respuestas a las cuestiones 
que se plantean en las sucesivas fases del proceso de evaluación. 

Algunos ejemplos de finalidades de evaluación pueden ser los que se detallan 
a continuación: 


— Mejorar la conceptualización y el diseño de un programa de formación, 
antes de realizarse, para asegurar su coherencia y pertinencia con las 
necesidades formativas que se pretenden satisfacer. 

Valorar el funcionamiento de un programa con relación a su diseño y su 
ajuste al contexto real donde opera, e introducir los ajustes necesarios 
antes de que los errores de ejecución malogren sus resultados. 

— Valorar la utilidad de un programa en la consecución de sus objetivos y 
en la satisfacción de las necesidades que lo justificaron a fin de 
acreditarlo, modificarlo, extenderlo o eliminarlo. 

— Valorar la eficiencia (relación costes con resultados) de dos programas 
alternativos a fin de seleccionar el mejor. 


| 


Determinar la finalidad de la evaluación desde su inicio no significa que sea 
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inamovible a lo largo del proceso. Es cierto que la finalidad o finalidades 
establecidas actuarán como marco orientador de las posteriores acciones 
evaluativas, pero en el transcurso de la evaluación pueden surgir circunstancias 
o eventos que aconsejen reorientar los objetivos de la evaluación. 

Junto con la finalidad de la evaluación hay que describir el objeto de 
evaluación; se debe hacer con la máxima claridad posible, especificándose sus 
componentes de manera que reflejen la imagen de lo que se pretende evaluar. 
La descripción del objeto de evaluación debe realizarse por escrito y sujetarse, 
s1 se considera necesario, a las revisiones pertinentes por parte de las personas 
implicadas (personal clave) a fin de configurar una imagen definitiva de lo que 
se va a evaluar. 

e Decidir la naturaleza de la evaluación. Como resultado de decisiones adoptadas 
en los puntos precedentes, se caracteriza el tipo de evaluación que se desea 
hacer. Es importante definir el tipo de evaluación, sobre todo a la luz de las 
finalidades de la evaluación y de la composición del equipo de evaluación, ya 
que condiciona de manera decisiva el modo de realizarla. 

Es conveniente que en esta fase se reflexione sobre la naturaleza de la 
evaluación. Se trata de decidir la posición metodológica que caracterizará la 
evaluación, que influirá en la forma como se llevará a término el proceso 
evaluador. Es el momento de decidir si se adscribe a un modelo u otro de 
evaluación. 


2.2.2. Segunda fase. Planificación de la evaluación 


Una vez se han concretado la finalidad y los objetivos específicos de la evaluación, 
es necesario describir los criterios que se utilizarán para emitir el juicio de valor y el 
proceso que se prevé para recoger la información. Los objetivos que se tratará de 
cumplir en esta fase se describen a continuación. 


. Especificar los criterios de evaluación y las cuestiones específicas que la 
evaluación debe responder. La finalidad de la evaluación debe concretarse en 
preguntas de evaluación específicas derivadas de los criterios que se usen. Sin 
esta especificación, el equipo de evaluación se encontrará con problemas para 
decidir qué información recoger. Esta fase será más o menos complicada, 
requerirá tiempo y esfuerzos o se resolverá fácilmente, según la complejidad del 
objeto que se evalúa, de su importancia política y administrativa, de las 
personas que implica y del alcance que se quiera dar a la evaluación. 

Worthen, Sanders y Fitzpatrick (1997) sugieren dos momentos para realizar 
una adecuada selección de los criterios y las cuestiones de evaluación; a saber: 


— Una fase divergente, donde se consulta a distintas partes implicadas en 
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el programa para obtener el máximo posible de cuestiones de 
evaluación cuyas respuestas se relacionan con el propósito general de 
la evaluación. 

— Una fase convergente, donde se seleccionan los criterios que se 
utilizarán y las cuestiones específicas que la evaluación intentará 
responder. 


En el momento divergente, primero se identifican las personas o grupos que 
tienen un interés legítimo sobre el objeto que se evalúa (normalmente coinciden 
con los distintos tipos de audiencias). Personas interesadas en la evaluación 
pueden ser: los usuarios directos, indirectos y potenciales de lo que se evalúa, 
responsables políticos, el personal director, gestor o administrativo y el personal 
especialista o técnico. Una vez identificadas estas personas, se realizan 
entrevistas grupales y/o individuales para recabar información sobre cuestiones 
como las siguientes: a qué respuestas específicas debería responder la 
evaluación y qué evidencias son representativas de que lo que se evalúa es 
correcto, está bien concebido, funciona bien, proporciona buenos resultados, 
etc. 

En el momento convergente se seleccionan las cuestiones más significativas 
de todas las acumuladas en la etapa anterior. Se caracteriza este momento por 
buscar el consenso entre las distintas personas y grupos, en un proceso 
interactivo y de negociación entre el evaluador y las partes interesadas, y de 
éstas entre sí. Es aconsejable elaborar unos criterios de valoración que permitan 
llegar a una posible ordenación de todas las cuestiones de evaluación. Se 
aconseja elaborar algún dispositivo como el presentado en el cuadro 2.3 que 
sirva para reflejar las distintas posiciones de las partes interesadas sobre las 
cuestiones específicas que la evaluación debe responder; en las celdillas se 
señala de forma cualitativa o cuantitativa la importancia de los criterios para 
cada una de las posibles cuestiones que la evaluación podría atender. 

En los sucesivos capítulos de esta obra el lector encontrará listas de criterios 
de valoración y cuestiones que la evaluación necesita responder según momento 
y tipo de evaluación. Así, en el capítulo 3, se explicitan los objetivos de la 
evaluación y las cuestiones que interesa responder cuando el objeto es la 
conceptualización y el diseño de la formación en sus distintos niveles (planes 
formativos, programas y sesiones de formación); en el capítulo 4, cuando el 
objeto es la puesta en marcha y seguimiento de unos planes y programas de 
evaluación; y en el capítulo 5, cuando se valoran los distintos niveles resultados 
de la formación. 


Cuadro 2.3. Valoración de las cuestiones prioritarias que la evaluación debería 
responder. 
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VALORACIÓN - 


e N.? personas interesadas en conocer 
la respuesta 


Uso que se hará de la respuesta MA A A 


Gran incertidumbre sobre la respuesta 


Probable abundancia de información ME 00 as 


Bajo coste VEDA 
Asequible técnicamente A 
UN E: 


Asequible en el tiempo que se dispone 0 


No crea conflicto entre las partes A A A 


Valorar cada cuestión con 1 como poco y 5 como mucho 


Fuente: Adaptado de Worthen, Sanders y Fitzpatrick (1997). 


+ Planificar la recogida de información. Una vez seleccionadas las cuestiones que 
la evaluación debe responder, se selecciona el tipo de información que se 
necesita recoger y el modo de obtenerla. Supone seleccionar sobre qué se 
recoge información, de quién se obtiene la información, con qué procedimiento 
o técnica se recoge, cuándo debe hacerse y quién es el responsable de recogerla. 
Las operaciones que implican estas cuestiones se concretan en un diseño de 
evaluación. 

El diseño de evaluación se articula de una manera u otra según el modelo de 
evaluación al que se adscriba. Así, si se decide situarse en modelos de 
naturaleza interpretativa y pluralista, que acentúan la implicación de las partes 
interesadas en la evaluación, el diseño favorecerá los procesos interactivos, de 
consenso y de negociación entre todos los participantes. Se primará la utilización 
de procedimientos cualitativos de recogida e interpretación de observaciones 
(entrevistas, observación participante, análisis de contenido, etc.), y se 
defenderá la abertura y flexibilidad del proceso evaluativo para dar respuesta a 
las cuestiones y necesidades que vayan emergiendo durante el proceso. Si, en 
cambio, la evaluación se sitúa en modelos de carácter más positivistas y 
tecnológicos, en el diseño primará la formalización y, aunque se conciba flexible, 
no se deja mucho margen para cambios durante el proceso, se primarán las 
técnicas e interpretación de datos de tipo cuantitativo (cuestionarios 
estructurados, pruebas objetivas, análisis estadísticos de comprobación de 
hipótesis deductiva, etc.). 
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Cuadro 2.4. Documento resumen del proceso de obtención de información. 


CUESTIONES CRITERIOS | FUENTESDE | TÉCNICA DE | RESPONSABLE- 
DE EVALUACIÓN | Información | INFORMACIÓN | EVALUACIÓN FORMA DE 
necesaria APLICACIÓN 


Sea cual fuere la opción metodológica de la evaluación, conviene desarrollar 
algunas estrategias de planificación a fin de organizar el tiempo, las 
responsabilidades y los recursos, además de posibilitar el seguimiento de las 
tareas evaluativas. Dos técnicas útiles y fáciles de elaborar se exponen en los 
cuadros siguientes. En el cuadro 2.4 se presenta una manera de relacionar todos 
los componentes del proceso de obtención de información y sus relaciones con 
los objetivos y cuestiones de evaluación. En el cuadro 2.5 se muestra la 
estructura de una ficha tipo “gantt” útil para planificar la temporalización de las 
actividades que comporta la evaluación. 


2.2.3. Tercera fase. Recogida, análisis e interpretación de los datos 


En esta fase se realizan las tareas planificadas en la fase anterior. Normalmente 
comienza con la preparación de los instrumentos necesarios para registrar los datos; se 
elaboran (o se seleccionan entre los ya existentes) los cuestionarios estructurados, los 
guiones de las entrevistas abiertas, las escalas de observación, las pruebas de 
rendimiento, etc. Se planifican todos los pasos necesarios para garantizar una recogida de 
información adecuada: calendario de aplicación, formación de entrevistadores u 
observadores, solicitud de entrevista, etc. 


. Selección y/o elaboración de los instrumentos de evaluación. Se debe velar por la 
validez y fiabilidad de los procedimientos de medida utilizados en la recogida de 
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información; tanto por lo que se refiere a los instrumentos empleados como por 
la forma en que son aplicados. Las garantías de calidad técnica deben 
asegurarse en la selección de la muestra (caso de que la obtención de 
información no se haga con toda la población) y en la elaboración y aplicación 
de los instrumentos de evaluación. Han de procurarse unas condiciones óptimas 
en la aplicación de las técnicas por lo que se refiere a la oportunidad del 
momento y a la preparación de las personas para su uso. 

e Análisis de la información cuantitativa y cualitativa. Se determina el tipo de 
análisis que se realizará con las observaciones cuantitativas y con las 
cualitativas. Los datos cuantitativos se someten básicamente a análisis 
descriptivos sencillos (gráficos, porcentajes, medidas de tendencia central, etc.) 
o estudios de relaciones entre ellos mediante técnicas bivariadas (correlaciones, 
chi cuadrado, etc.) o multivariadas (clusters análisis, análisis discriminantes, 
análisis causal, etc.). La formación cualitativa se somete fundamentalmente a 
procesos de análisis de contenido a fin de sistematizarla e interpretarla, 
elaboración de mapas y tablas conceptuales, sistemas de redes, etc. 


Cuadro 2.5. Ejemplo de planificación de la temporalización de la evaluación. 
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El análisis de los datos debe ser congruente con las cuestiones de evaluación 
que conviene responder. Un error frecuente en las evaluaciones es analizar los 
datos sin tener en cuenta lo que se pretende conocer y responder con la 
evaluación. Para cada cuestión de evaluación se debe indicar el tipo de análisis 
que requiere su respuesta. 

e Interpretación de la información. Los datos, sean resumidos en estadísticos 
(datos cuantitativos) o en tablas interpretativas (datos cualitativos), no hablan 
por sí mismos, deben ser objeto de interpretación en función de las 
comparaciones que se establezcan. Es el momento de decidir, si no se ha hecho 
anteriormente, el patrón comparativo que se utilizará para contrastar la 
información. La pregunta clave que hay que responder es: ¿Cuáles son los 
niveles de excelencia que deben presentar los datos recogidos para emitir un 
juicio positivo sobre lo que se evalúa?, o ¿cuán grande debe ser la diferencia 
con el patrón para emitir un juicio positivo? El tipo de estándar o patrón 
comparativo que se utilice determina si la evaluación es absoluta, relativa o de 
progreso. Es aconsejable que las primeras interpretaciones que se realicen se 
contrasten con las partes interesadas, a fin de asegurar una adecuada 
interpretación y tomar en consideración distintas perspectivas interpretativas 
posibles. 


2.2.4. Cuarta fase. Elaboración del informe final y difusión de los resultados 


Una evaluación no acaba cuando se entrega el informe final de sus resultados, sino 
que continúa con una etapa de difusión de resultados en la que el equipo de evaluación 
debería participar. Dos aspectos básicos han de observarse: los objetivos del informe y el 
tipo de audiencia a la que se dirige. 


e Respecto al propósito del informe se debe tener en cuenta si la finalidad de la 
evaluación es esencialmente formativa (mejorar lo que se evalúa) o sumativa 
(un control institucional sobre lo que se está haciendo y qué resultados tiene). Si 
el acento se coloca en la mejora, el informe ha de confeccionarse lo antes 
posible y reflejar con toda claridad aquellas áreas que están funcionando bien, 
cuáles necesitan cambios y sugerir cómo llevarlos a cabo. Si el énfasis es de 
control, el informe debe acentuar el mérito y valor de lo que se evalúa para la 
organización, bien para que se extienda a otros contextos, para justificar los 
esfuerzos realizados o para continuar con él. 

e Respecto a las audiencias es importante determinar quiénes son las que han de 
recibir información sobre los resultados de la evaluación y cómo debe ser esta 
información (informe escrito, presentaciones orales, etc.). La información a las 
distintas audiencias tiene que responder a las cuestiones de evaluación que les 
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son de interés; dado que distintas audiencias también pueden dar lugar a 
distintas necesidades de información, el informe evaluativo no tiene que ser 
único, además debe adaptarse a la “forma de conocer” de las audiencias a las 
que va dirigido, y no sólo respecto al lenguaje que debe utilizar sino a su 
extensión y al canal de comunicación más adecuado. 


En el cuadro 2.6 se ofrece a modo de sugerencia cuáles pueden ser los epígrafes de 
un informe de evaluación. 


2.3. La validez de las evaluaciones 


La evaluación, como cualquier otra actividad, también está sujeta a demostrar su 
validez, es decir a responder a unas normas de calidad. Para este fin en la actualidad se 
ha desarrollado un conjunto de estándares y normas. Las normas que gozan de mayor 
reconocimiento son las Normas de Evaluación para Programas, Proyectos y Material 
educativo, elaboradas durante un período de cinco años por unos doscientos 
profesionales relacionados con la práctica profesional de la evaluación en 1981 y 
revisadas en 1994 (Joint Committee, 1981 y 1994). 

En general, las normas de evaluación animan a las personas que intervienen en la 
evaluación a mantener una actitud de cooperación y responsabilidad a fin de cumplir con 
las cuatro condiciones principales que validan la calidad de una evaluación. Estas 
condiciones son las siguientes: 


a) Una evaluación debe ser útil para aquellas personas o grupos interesados en sus 
resultados. Debe ayudarles a identificar los aciertos y los errores así como 
sugerir soluciones para mejorar el objeto que se evalúa. Este aspecto de 
utilidad se articula en siete normas que pretenden asegurar que una evaluación 
servirá a las necesidades de información de sus usuarios. 


Cuadro 2.6. Epigrafes de un informe de evaluación. 


Portada 


+ Título 

+» Período cubierto por el informe 

+ Evaluador o equipo de evaluación 

+ Persona, departamento o entidad a la que se dirige el informe 
+ Lugar y fecha del informe 


PARTE I 
Presentación 
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+ Origen y finalidad de la evaluación 

+ Audiencia y utilidad de los resultados 

+ Contexto, reacciones y limitaciones de la evaluación 
+ — Sumario del contenido del informe 


Resumen 


» Síntesis de los resultados de la evaluación 
». Síntesis de las acciones a emprender para utilizar los resultados 


PARTE II 
Objeto y finalidad de la evaluación 


+ Descripción del objeto de evaluación: origen y objetivos, Perfil de los destinatarios, Personal y 
Actividades más importantes 
+ Cuestiones de evaluación que deben responderse: criterios y objetivos específicos 


Diseño y procedimientos de evaluación 


+ Plan de evaluación realizado 
+ Presentación en síntesis de las técnicas evaluativas utilizadas 


Presentación de resultados 


» Síntesis de los datos obtenidos 
+ Interpretación de los resultados 


Conclusiones y recomendaciones 


+ Respuesta a las cuestiones de evaluación 
+. Sugerencias para optimizar el objeto evaluado según resultados de la evaluación 


ANEXOS 


+ Instrumentos utilizados 
+ Muestras de observaciones 
+ — Listados de datos brutos, etc. 


b) Una evaluación debe ser factible. Se han de utilizar procedimientos que no 
presenten problemas y sean asequibles. Los estándares relativos a la 
factibilidad se especifican en tres normas que pretenden asegurar que una 
evaluación sea realista, prudente, diplomática y austera. 

c) Una evaluación debe ser ética. Debe basarse en compromisos de 
responsabilidad y cooperación, en los que se respeten los derechos de las 
partes implicadas; además, debe proporcionar un informe equilibrado que 
ponga de manifiesto tanto los aciertos como los errores del objeto que se 
evalúa. Los estándares relativos a estos aspectos se articulan en ocho normas 
específicas, que pretenden asegurar que una evaluación se conduzca de 
manera legal, ética y con la atención debida a los derechos de los implicados en 
la evaluación, así como de los afectados por sus resultados. 

d) Una evaluación debe ser rigurosa. Debe ser técnicamente adecuada por lo que 
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respecta al plan de evaluación, a la validez y fiabilidad de los procedimientos 
utilizados y a las conclusiones obtenidas. Los estándares de exactitud se 
especifican en doce normas, que tratan de asegurar que una evaluación 
proporcione información técnicamente rigurosa a partir de una descripción 
detallada de lo que se evalúa, la adecuación técnica de los instrumentos y 
procedimientos de análisis y la validez de sus conclusiones. 


Cuadro 2.7. Lista de control para valorar evaluaciones. 


TÁNDARES DE EVALUACIÓN 


Utilidad Credibilidad y aceptación del evaluador 
Relevancia de la información obtenida 
Claridad y adecuación de los informes 
Oportunidad del informe 
Difusión de los informes 
Sugerencias de cómo utilizar los resultados 


Factibilidad | Procedimientos prácticos 
Viabilidad política 
Justificada la relación costo-efectividad 


Ética Respeto a las personas implicadas 
Derecho de información pública 
Responsabilidad fiscal de gastos 
Gestión adecuada de los conflictos de intereses 


Rigurosidad | Descripción adecuada del objeto a evaluar 
Fuentes de información adecuadas 
Validez y fiabilidad de las técnicas evaluativas 
Validez del análisis de los datos 
Conclusiones fundamentadas 
Objetividad del informe 


En el cuadro 2.7 se presenta el listado en forma de hoja de control de las normas 
que comprende cada grupo de estándares. El lector interesado puede consultar el 
desarrollo de las treinta normas que constituyen los estándares de evaluación en la obra 
en castellano del Joint Committe (1988). 

Estos estándares de evaluación pueden aplicarse de una manera formativa o de 
control. En caso de una aplicación formativa, pueden ponerse en práctica en cualquier 
momento del proceso evaluativo, de esta manera se asegura en cada fase del proceso que 
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los planteamientos que se hacen son útiles, factibles, justos y técnicamente correctos. 
Cuando las normas se aplican al final de una evaluación, el énfasis se coloca en el control 
sobre los procedimientos utilizados y los resultados obtenidos por la evaluación a fin de 
valorar en qué medida sirven para alguien, han sido realistas y austeros, éticos y 
respetuosos con los derechos de las partes implicadas y técnicamente adecuados. En 
síntesis, la aplicación de los estándares de evaluación permite realizar una 
metaevaluación, es decir, una evaluación de la evaluación. 
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3 


Evaluación del diseño de la formación. 
Criterios e indicadores de evaluación 


La existencia de una política, un programa o una actividad específica de formación 
es el reconocimiento de que hay una laguna o necesidad formativa y existe la intención 
de organizar y realizar una serie de actividades para resolverla. Con la evaluación del 
diseño de la formación se pretende valorar si la planificación que se ha hecho de estas 
actividades es una respuesta adecuada y suficiente a las necesidades y objetivos que se 
quieren alcanzar. Su finalidad última es evitar el fracaso de la formación debido a una 
inadecuada formulación del modelo pedagógico que la sustenta y a una falta de 
planificación de sus componentes y estrategias de intervención. Se ocupa de valorar la 
calidad de los componentes de entrada del sistema (los insumos), la pertinencia de los 
objetivos y la adecuación de las estrategias de acción previstas para conseguirlos, tanto 
por lo que se refiere a las actividades y metodologías concretas como por lo que respecta 
a los recursos, humanos y materiales, que se dedican. 

En esta evaluación se analizan las características intrínsecas de la formación desde 
tres perspectivas: a) valoración de su pertinencia y relevancia, demostrando que es la 
mejor respuesta a las necesidades que se desean satisfacer; b) valoración de su 
coherencia externa en la medida en que responde a los valores, cultura y condiciones del 
contexto; y c) valoración de su coherencia interna en la medida en que presenta 
consistencia entre los distintos componentes de la actividad formativa. 

Téngase en cuenta que los análisis evaluativos propios de una valoración del diseño 
y planificación mantienen estrecha relación con los estudios de la calidad de la gestión y 
los análisis de auditorías de la formación. Por esta razón, el capítulo se centrará en la 
evaluación de programas de formación, refiriendo los parámetros y criterios de 
evaluación de mayor uso en la valoración de los componentes de un programa. En 
cambio, se abordan de forma general los planteamientos evaluativos que orientan esta 
valoración en el área de las políticas y planes de formación, por lo que se anima al lector 
interesado en profundizar sobre este particular a consultar los trabajos sobre auditoría de 
la formación de Le Boterf y Barzucchetti (1993), Le Boterf y colaboradores (1985) y 
Pineda (1995). 


3.1. Evaluación de la fundamentación y diseño de la política y planes de 
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formación 


Cuando se elabora una política de formación se adopta una serie de decisiones y 
operaciones que determinarán la contribución que se espera que aporte la formación a la 
organización. En el proceso se establecen las prioridades que deben resolverse y se 
arbitran los recursos pertinentes. Posteriormente, esta política se formaliza en un plan de 
formación (bianual, normalmente) compuesto por una serie de actividades organizadas, 
en las que se especifica la población a la que se dirigen y los recursos humanos y 
materiales que se destinan, así como cualquier otra especificación que convenga hacer en 
este nivel. Si el plan se ha diseñado con seriedad, sin duda se han establecido las 
orientaciones básicas sobre la formación que, a modo de marco de referencia, 
condicionarán la concreción de los programas y actividades formativas. De aquí, el 
innegable efecto futuro que tienen una política y unos planes de formación y la necesidad 
de asegurar su calidad desde el momento en que se inicia su planificación. Precisamente, 
las cuestiones que guían el análisis interno de una política y planes de formación 
pretenden aportar información que dé cuenta de esta calidad. A saber, ¿en qué medida la 
política y plan de formación previsto es 


— el que necesita la organización? 

— coherente con la política de recursos humanos? 

— coherente internamente? 

— adecuado y pertinente la cobertura de usuario prevista? 
— aceptado por los actores implicados? 

— legal? 

— eficiente? 


En definitiva, los interrogantes anteriores se refieren a los criterios esenciales que se 
utilizan en la evaluación de la racionalidad y planificación de la formación a nivel de 
política y planes de formación. Estos criterios son: 


a) Pertinencia. Enjuiciar en qué medida la política y los objetivos de los planes de 
formación responden a las necesidades formativas que exigen las metas de la 
organización y sus personas. Analizar cuáles son las razones que justifican la 
selección de unos u otros objetivos, si se basan o no en un serio proceso previo 
de análisis de necesidades de competencias a corto, medio y largo plazo. 

b) Coherencia externa. Valorar el grado en que la política de formación se inserta y 
se relaciona con la política de desarrollo de Recursos Humanos y demás 
políticas de la organización. Analizar en qué medida la formación está asociada 
a los mecanismos de incentivación, promoción, desarrollo de la carrera, etc. El 
análisis se hace extensivo a la coherencia del plan con las reglas sociales y 
culturales de la organización: con el estilo de gestión y dirección, con la 
organización del trabajo, con la cultura de la organización, etc. 
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c) Consistencia interna. Valorar la existencia de un esquema directriz sólido y 
coherente entre los mismos componentes del plan de formación (coherencia de 
los objetivos con el perfil de los participantes, de los objetivos con la 
temporalización y metodología previstas, etc.). 

d) Adecuada cobertura. El centro de interés aquí es el personal, sus características 
y el número que se prevé atender con la formación, valorándose el grado en 
que ésta llega a la población que la necesita. 

e) Aceptación. Se trata de valorar el nivel de aceptación de la política y el plan de 
formación por parte de los distintos actores, su implicación y los procesos de 
negociación e información que se tienen con los distintos colectivos y 
categorías de profesionales. 

f) Legalidad. En este punto se enjuicia el grado en que la planificación de los 
planes de formación se ajusta a las normativas legales generales y 
reglamentaciones particulares de la organización. 

g) Eficiencia. Se valora el grado en que se hace un planteamiento eficiente de los 
recursos que exige la puesta en marcha del plan de formación; en qué medida 
se han considerado alternativas de acción menos costosas con previsibles 
resultados similares, aunque sean previsiones teóricas si no hay evidencias 
empíricas. 

h) Procesos internos y externos de garantía de calidad. Se valora en qué medida 
se han previsto procesos que garanticen la revisión y mejora de la formación. 


En el cuadro 3.1 se exponen a modo de guía cuestiones específicas de evaluación 
(sin pretender ser exhaustivo) que pueden abordarse en la valoración de la racionalidad y 
diseño de una política y planes de formación. 


Cuadro 3.1. Guía de evaluación de la fundamentación y diseño de una política y 
planes de formación. 


CUESTIONES ESPECÍFICAS DE 
EVALUACIÓN 
En qué medida la política y plan de 
formación: 


PARÁMETROS CRITERIALES 


e ¿Se relaciona con el proyecto de la 
organización?, ¿con los planes de 
desarrollo?, ¿con los problemas de 
origen formativo y necesidades de la 
organización? 

* ¿Se fundamenta en un previo análisis 
de necesidades?, ¿se ha realizado el 
análisis de necesidades de forma 
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PERTINENCIA 


COHERENCIA 


CONSISTENCIA INTERNA 


ADECUADA COBERTURA 
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rigurosa?, ¿son relevantes los criterios 
que se han considerado para 
determinar las actividades formativas 
que configuran el plan de formación? 
¿Se ha formulado de forma clara lo 
que se espera conseguir con la 
formación a medio y a largo plazo”, 
¿qué resultados se esperan alcanzar?, 
¿qué contribución hará la formación a 
la organización? 

¿Se relaciona con la política de 
desarrollo de RRHH?, ¿cómo 
contribuye a la política de RRHH? 
¿cómo se vincula a los planes de 
carrera? 

¿Se relaciona con el sistema de 
promoción y desarrollo personal? 

¿Se relaciona con las otras políticas de 
la organización? 

¿Es compatible con el funcionamiento 
de la organización, de los 
departamentos, unidades, etc.? 

¿Hay congruencia entre los objetivos 
del plan y los otros componentes de la 
formación: modalidades de formación, 
destinatarios, temporalización, etc.? 
¿Especifica con claridad a los 
responsables de llevar a cabo el plan 
de formación?, ¿se describen 
funciones y responsabilidades?, ¿son 
los más adecuados? 

¿Prevé modalidades de formación 
variadas e innovadoras? (cursos, 
prácticas, formación en el puesto de 
trabajo, formación, acción, etc.) 

¿Es adecuado su alcance por lo que 
respecta a las necesidades de 
formación de las distintas categorías 
de personal”, ¿responde a las 
necesidades de los distintos colectivos? 
¿Se ha implicado a los actores clave en 


ACEPTACIÓN 


LEGALIDAD 


EFICIENCIA 


PROCESO DE REVISIÓN 
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su formulación y planificación? 
(dirección de formación, de RRHH, 
gestores de formación, sindicatos, 
representante de los potenciales 
usuarios, etc.) 
¿Se han realizado las negociaciones 
sobre los compromisos pertinentes? 
¿El personal dispone de la información 
suficiente?, ¿son adecuados los 
canales de información?, ¿se ha 
realizado un buen marketing? 
¿Se ajusta a las disposiciones legales 
vigentes? 
¿Se ajusta a las normativas 
reglamentarias de la organización? 
¿La asignación de los medios 
humanos, financieros y materiales es 
pertinente con los objetivos? 
¿La asignación de los medios 
humanos, financieros y materiales es 
coherente con los medios globales de 
la organización? 
¿La asignación de los medios 
humanos, financieros y materiales es 
compatible con el presupuesto 
asignado a formación? 
¿Se prevé realizar un seguimiento y 
control de las asignaciones?, ¿el 
personal responsable es el adecuado?, 
¿es suficiente la periodicidad prevista? 
¿Se ha previsto su revisión y 
actualización?, ¿es consistente el 
esquema del proceso de revisión? 
(periodicidad, personal responsable, 
técnicas, etc.) 
¿Se hace un planteamiento realista para 
su seguimiento y evaluación? 
¿Se ha previsto introducir alguna 
actividad innovadora?, ¿cómo se hará 
su seguimiento? 


3.2. Evaluación de la planificación de programas de formación. Parámetros 
criteriales e indicadores de evaluación 


Se entiende como programa de formación un conjunto de actividades organizadas 
que tienen un objetivo de formación final común, dirigidas a un colectivo determinado y 
realizadas con una cadencia temporal establecida. Si bien se mantiene este término como 
etiqueta general, en la práctica los programas se diferencian bastante por su magnitud en 
términos de población atendida, por su distribución territorial, por su duración, por la 
variedad de sus objetivos y cursos de acción, etc. 

Es decir, la idea de programa comprende, por ejemplo, desde un programa de 
formación para fomentar “la calidad en la atención al cliente”, que incluye diferentes 
modalidades formativas (cursos, períodos prácticos, sesiones informativas, etc.) y ocupa 
un trimestre de formación intensiva, dirigidas a todo el personal con contacto directo con 
los clientes, hasta un “curso de archivística” de 4 horas semanales durante veinte días, 
dirigido al personal responsable de los archivos. 

Según el nivel de complejidad del programa así será la dificultad de la evaluación de 
su planificación. En cualquier caso, la finalidad de esta evaluación es proporcionar 
información para responder a las siguientes preguntas generales: 


+ ¿Los objetivos y contenidos del programa responden a las necesidades 
formativas que se pretenden satisfacer? 

+ ¿Las actividades de formación que se han diseñado son las adecuadas para 
conseguir los objetivos? 

+ ¿La población a la que se dirige el programa es la adecuada, tanto con respecto a 
su número como a sus características personales y profesionales? 

* ¿Los recursos humanos, materiales y económicos previstos son coherentes con 
los objetivos y actividades del programa? 

+ ¿El sistema de aplicación prevista garantiza una ejecución óptima? 

* ¿Los beneficios y efectividad que se desean obtener con el programa justifican 
su coste? 


A continuación se analizan los distintos contenidos o áreas en los que se centra esta 
evaluación, y los criterios e indicadores de mayor utilidad. 


3.2.1. Valoración de objetivos y contenidos 


Sin duda una formulación clara y sin ambigúedades de los objetivos es el elemento 
básico de todo programa de formación. Su efecto sobre los demás componentes 
pedagógicos es decisivo; una correcta selección y organización de los contenidos, de las 
estrategias de enseñanza, de los materiales, etc., exige que previamente se disponga de 
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una definición clara del propósito de la formación. La importancia de una buena 
selección y formulación de objetivos y contenidos se justifica, de una parte, porque 
tienen la función de guiar y orientar otras decisiones formativas y, de otra, porque son 
criterios referenciales de evaluación ineludibles, tanto para valorar otros componentes del 
programa como para valorar sus resultados. 

En el cuadro 3.2 se exponen los parámetros criteriales más frecuentes para valorar la 
formulación y diseño que se ha hecho de los objetivos y contenidos de un programa. 
Para cada parámetro se especifican posibles indicadores de evaluación. La utilidad del 
mencionado cuadro debe entenderse como fuente de criterios e indicadores de 
evaluación cuando se desea analizar la idoneidad de objetivos y contenidos; no 
necesariamente un plan de evaluación debe abarcar todas las cuestiones que se explicitan 
en el cuadro. 


Cuadro 3.2. Valoración de objetivos y contenidos. 


PARÁMETROS INDICADORES DE EVALUACIÓN 


OBJETIVOS 


* Directa y sin ambigúedad, posibilitando 
su evaluación 
* Suficientemente explícitos para guiar la 
selección de los otros componentes 
formativos. Sobre todo para guiar la 
elaboración de objetivos pedagógicos 
CLARIDAD EN LA FORMULACIÓN por parte de docentes o formadores 
+ Expresados en términos de 
competencias profesionales que se 
debe alcanzar. Resultados o 
actuaciones que se esperan de los 
participantes en sus puestos de trabajo 
una vez realizado el programa 
+ Útiles para las necesidades formativas 
que se pretenden satisfacer 
+ Coherentes con la capacitación final 
que se desea 
+ Adecuación a las expectativas y 
posibilidades de los participantes 
* Nivel de importancia relativa entre 
ellos, teniendo en cuenta el tiempo y 
EFICIENCIA los recursos existentes 
+ Suficientes en número para satisfacer 


RELEVANCIA Y COHERENCIA 
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las necesidades formativas 
CONTENIDOS 


* Congruentes y relevantes para 
conseguir los objetivos 
+ Estructuración y secuencia adecuada, 
RELEVANCIA respecto a las leyes del aprendizaje 
adulto 
+ Actualidad y nivel de profundización 
adecuado 
* Amplitud suficiente para conseguir los 
objetivos 
* Adecuado el peso relativo de cada 
contenido en el conjunto del programa 


EFICIENCIA 


3.2.2. Valoración del proceso de selección y agrupación de participantes 


Un programa de formación siempre se elabora pensando en la existencia de un grupo 
de personas —población objeto- con ciertas necesidades formativas, que serán los 
potenciales receptores de las actividades que se planifiquen y oferten. 

Una buena planificación exige que se defina con claridad el perfil de los destinatarios 
de los programas de formación; esto posibilita el análisis de la cobertura del programa, 
garantiza un eficiente proceso de selección de los participantes y facilita su distribución 
en grupos de formación. 

En el capítulo siguiente se abordará el tema de la cobertura de un programa (grado 
en que el programa atiende a su población objeto) y sus posibles desviaciones 
(sobrecobertura, infracobertura o cobertura sesgada). 

En este capítulo, las cuestiones de evaluación que interesa responder se refieren a la 
idoneidad del proceso previsto para la selección de los participantes y los criterios que se 
utilizan para distribuirlos en los grupos de formación. 

En el cuadro 3.3 se exponen los parámetros criteriales que se pueden utilizar cuando 
el objeto de evaluación es la planificación que se hace o se ha hecho —según el momento 
en que se hace el análisis evaluativo— de la selección y agrupación de los destinatarios del 
programa. 


3.2.3. Valoración de la metodología y técnicas de enseñanza 


La elección de un método u otro, o de una técnica u otra de enseñanza, constituye 
una decisión importante en el momento de diseñar una intervención formativa. 
Dos marcos referenciales deben guiar la selección: los objetivos pedagógicos y las 
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competencias profesionales que se pretenden conseguir, de una parte, y su valor 
pedagógico para atender a las características de los participantes, de otra. 

Los criterios e indicadores de mayor uso para valorar las metodologías y técnicas de 
enseñanza se presentan en el cuadro 3.4. 

Para analizar la idoneidad de técnicas específicas siempre pueden desarrollarse 
indicadores más ajustados a las características particulares de cada una de ellas. 


Cuadro 3.3. Valoración de la selección y agrupación de la población destinataria del 
programa. 


PARÁMETROS INDICADORES DE EVALUACIÓN 


Precisión en la definición del perfil de 
los destinatarios: nivel de 
conocimientos previos, habilidades y 
COHERENCIA CRITERIOS DE competencias requeridas, otras 
SELECCIÓN características relevantes (experiencia, 
edad, etc.) 

Congruencia del perfil con los 
objetivos del programa 

Eficiencia del proceso de selección 
cuando se compara su efectividad con 
sus costes de tiempo, personales o 
monetarios 

Agilidad y transparencia del proceso de 
selección 


EFICIENCIA 


Respeto en el proceso de selección de 
las disposiciones legislativas y 
reglamentarias del sistema de 
formación 

Aceptación del proceso de selección 
por las partes interesadas (sindicatos, 
representantes de los usuarios, línea 
jerárquica, etc.) 

Idoneidad del momento de la selección 
Posibilita a las personas planificar y 
prever las dificultades que derivan de 
su participación 


LEGALIDAD 


OPORTUNIDAD 


Adecuación del número de 
participantes por grupo según 
objetivos y metodología de enseñanza- 
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EFICACIA DE LA AGRUPACIÓN aprendizaje 
+ Estructuración de los grupos (vertical, 
horizontal, etc.) coherente con los 
objetivos del programa 


3.2.4. Valoración de la documentación escrita de apoyo 


Generalmente los programas de formación van acompañados de material o 
documentos escritos preparados para el uso de docentes y de participantes con el 
propósito de facilitar el proceso de enseñanza-aprendizaje. En ocasiones estos recursos 
escritos se elaboran de manera precipitada; en otras, aunque tengan una preparación 
cuidadosa, cada docente confecciona los que él usará, siguiendo sus propias pautas sin 
existir una guía que oriente y unifique los diferentes criterios de elaboración. 

Lo ideal es prever unos criterios pedagógicos comunes que guíen su elaboración con 
el fin de que su presentación y utilidad sea lo más óptima posible. 

En el cuadro 3.5 se exponen parámetros criteriales e indicadores útiles para la 
evaluación de los materiales escritos. 


Cuadro 3.4. Evaluación de metodología y técnicas de enseñanza en general. 


PARÁMETROS INDICADORES DE EVALUACIÓN 


+ Eficaces para conseguir los objetivos 
de formación 
* Coherentes con las situaciones 
COHERENCIA profesionales a desarrollar 
+ Adecuación a las características 
personales/profesionales y número de 
participantes 
* Tiene en cuenta los principios 
generales del aprendizaje adulto: 
variedad metodológica, fomenta la 
actividad y participación, favorece la 
transferencia, etc. 
* Permite verificar si los participantes 
van aprendiendo 
* Capacidad pedagógica del docente para 
utilizarla eficazmente 


CONFORMIDAD CON LOS PRINCIPIOS 
PEDAGÓGICOS 


+ Relación coste/rendimiento adecuada o 
mejor que otras alternativas 
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EFICIENCIA 


* Su coste de preparación es asequible a 
los responsables 

* Su aplicación se ajusta a la 
infraestructura y recursos disponibles 


Cuadro 3.5. Valoración de materiales escritos. 


PARÁMETROS 


COHERENCIA 


CONFORMIDAD 
CON LOS 
PRINCIPIOS 
PEDAGÓGICOS 


EFICIENCIA 


INDICADORES DE EVALUACIÓN 


Adecuación de su contenido con la finalidad de la 
documentación (presentar el contenido, economizar 
la toma de notas, ejercitar o entrenar, profundizar en 
el contenido, etc.) 


Nivel de dificultad y lenguaje adecuado a las 
características de los participantes 


Estructuración y ordenación adecuada al desarrollo de 
los contenidos 

Presentación que facilita y estimula su lectura: 
esquemas, gráficos, ilustraciones, etc. 

Posibilidades que ofrece de autoformación y utilidad 
para los participantes de vuelta a sus puestos de 
trabajo 

Su formato se ajusta al modo en que será utilizada 

Está garantizada su disponibilidad en el momento que 
se necesita 

Su finalidad justifica los costes 

Adecuada relación calidad/precio 


3.2.5. Valoración del sistema de seguimiento y evaluación del programa 


El grado en que se ha previsto un procedimiento eficaz y efectivo para la puesta en 
marcha, el seguimiento y la evaluación de un programa es otro componente importante 
de su planificación que debe ser objeto de evaluación. Sin duda, una buena planificación 
exige prever aquellos elementos que aseguren la correcta ejecución de lo que se ha 
diseñado y un sistema de evaluación que lo perfeccione, de un lado, e informe de sus 
resultados, de otro. En el cuadro 3.6 se exponen los parámetros criteriales y posibles 
indicadores de evaluación que pueden utilizarse con esta finalidad. 
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Cuadro 3.6. Valoración del sistema de seguimiento y evaluación de un programa. 


PARÁMETROS 


SUFICIENCIA 


COHERENCIA 


CONFORMIDAD CON LOS PRINCIPIOS 


PEDAGÓGICOS 


EFICIENCIA 


LEGALIDAD 
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INDICADORES DE EVALUACIÓN 


Especificación del sistema de 
seguimiento y gestión del programa 
Descripción suficiente y clara del 
sistema de evaluación de los resultados 
del programa (qué evaluar, cuándo, 
dónde, cómo, quién, audiencias, etc.) 
Descripción suficiente de la evaluación 
que se realizará sobre el programa 


Congruencia entre las modalidades y 
técnicas específicas de evaluación y 
los objetivos que se pretenden 
alcanzar 

Congruencia con las situaciones 
profesionales 

Congruencia con la metodología de 
enseñanza 


Adecuación a las características 
personales/profesionales y número de 
participantes 

Facilita la retroal¡mentación (retorno 
de información) 

* Suficiente capacidad técnico- 
pedagógica del personal responsable 
de llevarla a cabo 

Información clara y suficiente desde el 
principio a los participantes sobre los 
criterios y las formas de evaluación 


Adecuada la relación entre los costes, 
de tiempo y monetarios, y la 
efectividad de la evaluación (se 
justifica el esfuerzo) 

Tiempo de preparación asequible a los 
responsables 

Ajustada a la infraestructura existente y 
recursos disponibles 


Respeto al derecho e intimidad de las 
personas implicadas 


* Respeto a las disposiciones legales y 
normativas vigentes 

+ Aceptación del sistema de evaluación 
por las partes interesadas (sindicatos, 
representantes de los usuarios, línea 
jerárquica, etc.) 


3.3. Evaluación de docentes y monitores 


Uno de los elementos clave en el éxito de un programa es el profesorado como 
responsable directo de los procesos de enseñanza-aprendizaje que deben favorecer los 
cambios cognitivos, afectivos y comportamentales que se esperan de la formación. 

No se pretende aquí extender la exposición sobre un tema tan complejo como es la 
evaluación del profesorado, que, por lo demás, existen excelentes obras en el mercado 
que el lector interesado puede consultar. Más bien se trata de enfatizar la importancia que 
tiene la evaluación de la actuación docente y proporcionar algunas sugerencias y 
técnicas evaluativas que puedan ser útiles en el contexto de la formación en las 
organizaciones. 


3.3.1. Finalidad formativa de la evaluación del profesorado. Autoanálisis de las 
destrezas docentes 


La evaluación del profesorado puede ser formativa o sumativa según su naturaleza y 
finalidad. En la evaluación formativa el énfasis se coloca en el perfeccionamiento del 
profesorado, en la mejora de sus competencias y actuación docente; y en la evaluación 
sumativa, en el control y en el valor que tiene para la organización o institución. Como se 
ha escrito en capítulo anterior, el valor potencial más importante de la evaluación es 
cuando se hace con una finalidad formativa. En el caso del profesorado, una evaluación 
de esta naturaleza le aporta información sobre sus puntos débiles y fuertes, promueve su 
reflexión sobre lo que hace y cómo lo hace y le facilita procesos de cambio y mejora. 
Una evaluación con estas características exige algo más que hacer una serie de preguntas 
cerradas sobre el profesorado en un cuestionario que se aplica al final de la formación, y 
cuyas respuestas normalmente, y no siempre, éste conoce unos meses después de 
finalizada su actividad. 

Cuando la evaluación tiene por finalidad informar al propio profesor de sus aciertos 
y errores debe orientarse hacia unos planteamientos muy diferentes al del mero control 
de la actividad docente. 

Como señalan Villa y Morales (1993), se ha de plantear una evaluación con las 
siguientes características: 
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b) 


d) 


El profesorado, en un principio, es el único que debe conocer los resultados de 
la evaluación. La información, que normalmente proviene del alumnado, debe 
recibirla solamente el propio profesor o profesora, si bien puede sacar mejor 
provecho si la comparte con otros y otras colegas. Esta condición es necesaria 
para que el profesorado se sienta libre para preguntar al alumnado, consultar 
con colegas, buscar orientaciones, etc., sobre aspectos de su docencia que 
pueden ser problemáticos. 

La evaluación debe estar orientada al desarrollo personal del docente y no a 
“rendir cuentas”. La evaluación se debe realizar de modo que el profesorado 
la viva como punto de partida para la propia reflexión y el aprendizaje de la 
práctica docente. El profesorado debe utilizar la evaluación como instrumento 
para su propio perfeccionamiento a la vez que mejora la calidad de la 
enseñanza. 

La recogida de información debe ser informal y frecuente. Normalmente la 
información la recoge el propio profesor, de forma ágil, sobre la marcha y 
rápida de analizar. El profesor o profesora cuando estime oportuno (al finalizar 
una sesión, después de una actividad, etc.) solicita al alumnado algún tipo de 
manifestación que valore su actuación como docente: expresar su opinión en 
una frase escrita, responder por escrito a una pregunta concreta que se le hace, 
etc. 

La información será más útil si se recoge de manera detallada y centrada en 
conductas especificas. Cuanto más específicas y concretas sean las 
observaciones que ofrezcan los participantes sobre el profesor o profesora y las 
características del curso, más útiles son, puesto que identifican aspectos 
concretos que representan puntos fuertes y débiles del profesorado y que le 
invitan a la reflexión. 

El profesorado debería libremente compartir la información con otros colegas. 
La información compartida con otros a menudo aumenta su utilidad, permite 
conocer otras perspectivas de análisis, explorar y aprender sobre estrategias de 
enseñanza alternativas. 


Para que la evaluación del profesorado realmente cumpla una función formativa, de 
mejora y perfeccionamiento docente, es necesario crear un clima de confianza que 
estimule al profesorado a hacer uso frecuente de esta evaluación en su práctica docente 
de la manera más espontánea posible. También requiere facilitarle el asesoramiento y la 
ayuda necesaria para introducir los cambios que mejoren la calidad de su trabajo e 
identificar vías que realcen sus destrezas profesionales. 

Para que la evaluación pueda plantearse con estas características es necesario que se 
perciba como una ayuda y no como una amenaza. En estrecha relación con este 
planteamiento formativo de la evaluación, es conveniente estimular la autoevaluación 
docente; es decir, procurar crear condiciones que faciliten al profesorado procesos de 
autoanálisis y valoración de su práctica docente. A tal fin puede elaborarse algún 
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dispositivo de autoevaluación que provoque su reflexión, con una finalidad de tomar 
conciencia de sus propias destrezas y habilidades más que de informar sobre su práctica. 
A modo de sugerencia, en el cuadro 3.7 se ofrece una ficha de autoanálisis que recoge las 
principales destrezas identificadas en diversos estudios como representativas de un 
docente eficaz. 


3.3.2. Evaluación sumativa del profesorado 


La evaluación del profesorado más común en la práctica corriente es de carácter 
sumativo; se hace con el propósito de comprobar su calidad una vez acabado el proceso 
de enseñanza-aprendizaje. Consiste, normalmente, en preguntar a los asistentes que 
expresen su satisfacción con algunas características del profesorado y de su actuación; la 
selección de estas características docentes se apoya en la creencia de que existe una serie 
de atributos que configuran al “profesor o profesora ideal”. 

Abundante es la literatura especializada y los trabajos de investigación que han 
pretendido identificar el listado de rasgos propios del profesor o profesora eficaz. No 
puede afirmarse que haya un consenso entre los estudios, puesto que la misma noción de 
“buen docente” es relativa, las divergencias provienen del sistema de valores y cultura del 
contexto donde se desarrolla la enseñanza, de las diferentes expectativas y preferencias 
que muestra el alumnado, de las distintas ideas pedagógicas defendidas, de las destrezas 
que exigen las distintas técnicas de enseñanza y de la misma naturaleza diferente que 
tienen los contenidos. Esto obliga a pensar en un concepto de competencia pedagógica 
multidimensional en el que se reconoce que existen diferentes tipos de eficacias para 
distintas clases de profesores, de alumnado, de programas y de situaciones. Si se acepta 
el concepto de competencia pedagógica multidimensional, la selección de los rasgos 
personales y comportamientos docentes a valorar se debe realizar con mucho cuidado. 
La selección de una u otras características entre las múltiples existentes no es 
independiente del modelo de profesorado que se quiere defender y promover y el modelo 
de enseñanza-aprendizaje que se desea fomentar. 


Cuadro 3.7. Ejemplo de instrumento para el autoanálisis del profesorado. 
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Reflexione sobre su práctica docente y valore su actuación en las siguientes tareas: 


Uso de estrategias de motivación: Correcto Mejorar 
habilidad para generar interés y estimular el aprendizaje 


e ¿Antes de iniciar la sesión, expone al grupo con claridad los obje- 
tivos que se pretenden alcanzar? (en términos de lo que los par- 
ticipantes al final serán capaces de conocer y saber hacer) 

e ¿Justifica la importancia y utilidad de los objetivos y su relación 
con los contenidos? 

e ¿Es suficientemente flexible para ajustar los objetivos a las nece- 
sidades y expectativas del grupo? 

* ¿Utiliza algún tipo de refuerzo (verbal y no verbal) ante las inter- 
venciones del alumnado? (agradecer sus comentarios, alabar sus 
sugerencias, actitud de atención, etc.) 

* ¿Sus gestos, ademanes y tono durante la enseñanza expresan agra- 
do y entusiasmo por lo que hace? ¿Se cree usted lo que enseña? 

+ ¿Comunica a los participantes sus progresos y adelantos en el 
aprendizaje que están realizando? 


Mt Bad 
044 adan 


Uso de estrategias metodológicas: 
habilidad para seleccionar y utilizar el método y las técnicas de enseñanza 


e ¿El método y la técnica de enseñanza que utiliza son los más ade- 
cuados para conseguir los objetivos propuestos? 

* ¿Son adecuados a las características y número de alumnado? 

+ ¿La forma como desarrolla el contenido, permite al alumnado 
percibirlo con orden y sistematización? 

*  ¿Consolida los conceptos e ideas principales antes de iniciar un 
nuevo aprendizaje? 

e ¿El ritmo y nivel de dificultad de los contenidos y actividades 
(ejercicios, etc.) se ajusta al nivel de los participantes? 

e ¿Utiliza recursos de feedback (preguntas orales, breves ejercicios 
formativos, etc.) para ir adecuando el ritmo de su enseñanza con 
el ritmo de aprendizaje del alumnado? 

e ¿La distribución del tiempo según objetivos/contenidos se corres- 
ponde con su importancia y dificultad? 


E 
PE QUIE EA 


Uso de estrategias de comunicación: 
habilidad para adaptarse al lenguaje y modo de pensar del alumnado 
y estimular su participación activa 


e ¿Habla con suficiente fluidez y con un vocabulario preciso y O O 
correcto? 
E ter 


Sí 


¿Adapta el vocabulario a los oyentes? ¿Define con claridad los 
términos nuevos? 

¿Parte de lo conocido, de la experiencia más cercana para llegar 
a lo desconocido? 

¿Estimula la participación del alumnado, invitándole a exponer 
sus propias experiencias, conocimientos, etc.? 

¿Está alerta a las reacciones, comentarios, etc. del alumnado e 
intenta cambiar su forma de actuar si así pareciera necesario? 
¿Refuerza y estimula la comunicación entre los participantes? 


Uso de estrategias de integración y transferencia: 

habilidad para favorecer conductas que facilitan la integración de los 
contenidos en estructuras más amplias y flexibles y su aplicación a 
nuevas situaciones 


¿Realiza síntesis parciales durante el desarrollo de su enseñanza? 
¿Realiza una síntesis final de los contenidos desarrollados? 
¿Establece analogías, diferencias u oposiciones entre contenidos 
semejantes? ¿Estimula al alumnado a que lo haga? 

¿Pone ejemplos y contraejemplos relevantes y conectados con la 
realidad profesional? ¿Estimula al alumnado a que lo haga evo- 
cando conocimientos y experiencias anteriores? 

¿Analiza las posibilidades de uso de los conocimientos adquiri- 
dos? ¿A qué tipo de situaciones o problemas pueden aplicarse? 


Uso de recursos y estímulos variados: 
habilidad para utilizar diferentes estímulos que faciliten la atención y 
la adquisición de conocimientos 


¿Es expresivo en su exposición? (acompaña la información con 
gestos y ademanes enfatizando el contenido, modula la voz, etc.) 
¿Cambia de posición dentro del aula? (se mueve en el aula, etc.) 
¿Utiliza algún medio diferente al oral para proporcionar infor- 
mación? (transparencias, pizarra, audiovisuales, etc.) 

¿Mantiene contacto visual con la mayoría de los participantes, 
sin concentrar la atención en unos pocos? 

¿Da tiempo para que los participantes procesen la información 
mientras la imparte? (pausas breves, repeticiones, etc.) 

¿Realiza ejercicios y prácticas suficientes que faciliten la com- 
prensión del contenido?, ¿son variados?, ¿despiertan el interés? 
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Lala LL 


00 0 0 A LE: 


MARE 


MA A E 


E E 


EY O EA A 


En el cuadro 3.8 se exponen los parámetros criteriales que normalmente se utilizan 
en las evaluaciones del profesorado en cuanto que de alguna manera se relacionan con su 
eficacia; puede utilizarse como fuente de indicadores para seleccionar aquellos que más 
se ajusten a las ideas pedagógicas y sistemas de valores que se desea potenciar. 


Cuadro 3.8. Posibles parámetros e indicadores para una evaluación sumativa del 
profesorado. 


PARÁMETROS INDICADORES DE EVALUACIÓN 


Dominio del contenido teórico 

(actualidad) y práctico 

Consistencia de la información con la 

realidad profesional 

Capacidad al poner ejemplos: 

DOMINIO DEL CONTENIDO concretos, múltiples, apropiados... 

Proporciona información para 

continuar la autoformación (cita 

fuentes importantes y valiosas, 

referencias bibliográficas, aporta 

documentos anexos, etc.) 

Claridad y sistematización expositiva 

Discusiones bien organizadas 

Se ajusta al ritmo del grupo 

Utiliza técnicas de enseñanza variada 

Es flexible en el uso de las técnicas 

para adaptarse al grupo 

* Usa técnicas que favorecen la 

interrelación de los participantes 

Se le ve seguro en el uso de la técnica 

de enseñanza que utiliza 

Aprovecha el tiempo 

* Dirige el aprendizaje con equilibrio y 
seguridad 

* Despierta el interés por los temas 

Anima a la participación 

+ Acepta de buen grado y responde con 

claridad las preguntas 

Vocabulario claro y preciso y adaptado 


] y a los oyentes 
MOTIVACIÓN Y COMUNICACION + Sabe reorientar al alumnado cuando es 


DOMINIO DE LA METODOLOGÍA Y 
ORGANIZACIÓN DE LA SESIÓN 
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necesario 

+ Está abierto a las sugerencias del grupo 

* Se le ve a gusto en clase 

* Parte de lo conocido para llegar a lo 
desconocido 

+ Es entusiasta y dinámico 

* Tiene una mentalidad abierta y bien 
predispuesta al cambio 

+ Muestra interés por lo que hace y por 
los participantes 

+ Es formal en sus compromisos 

* Tiene sentido del humor 

+ Es honesto, imparcial y objetivo 


PERSONALIDAD 


* Buena comunicación con los 
participantes 

* Se preocupa por el clima de la clase 

* Anima la interrelación entre los 
participantes 

+ En temas controvertidos sabe respetar 
las distintas posiciones 

+ Respeta el derecho de los participantes 


RELACIONES HUMANAS 


+ Hace un uso eficaz de la pizarra, los 
audiovisuales... 

* Domina los recursos que utiliza 

+ Refuerza el trabajo bien hecho, la 

UTILIZACIÓN DE RECURSOS participación, las ideas, etc. 

* Tiene muchos recursos para dar 
respuesta a las preguntas y 
necesidades de los participantes 

* Uso ingenioso de los materiales 


3.4. Cuándo, quién y cómo evaluar el diseño de un programa 


La evaluación del diseño de un programa puede hacerse antes de realizar el 
programa, durante su desarrollo o al final del mismo. La práctica más extendida es hacer 
este tipo de evaluación al final del programa, lo que normalmente se denomina como 
“evaluación de la reacción”; consiste en aplicar en la última sesión unos cuestionarios 
donde los participantes expresan sus valoraciones sobre elementos del programa 
(objetivos, metodología, profesorado, etc.). No obstante, cada vez es mayor la 
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preocupación e interés por plantear esta evaluación antes de realizar el programa, puesto 
que si el diseño está mal hecho lo más probable es que también se fracase en su 
realización. Así, las finalidades de esta evaluación según el momento en que se realice 
pueden ser las siguientes: 


a) Antes de la realización del programa, la evaluación se integra en las actividades 
de planificación de tal manera que representa una fase más de ella; se trataría 
de realizar una evaluación intrínseca —por ejemplo, mediante la consulta a 
expertos y expertas— de lo que se ha planificado con el fin de asegurar su 
calidad antes de llevarlo a cabo. 

b) Durante la ejecución del programa, tiene el propósito de asegurar que se realice 
tal como fue diseñado y que se introduzcan las correcciones oportunas durante 
su desarrollo. Este análisis evaluativo entra dentro de los objetivos del tipo de 
evaluación que se abordará en capítulo posterior: la evaluación de la 
implementación y seguimiento del programa. 

c) Después de realizarse el programa, tiene una finalidad eminentemente de 
control y revisión. Es decir, conocer cómo han funcionado los distintos 
componentes del programa en el contexto específico donde se ha insertado, 
con el personal que lo ha llevado a cabo, con los recursos que se han utilizado 
y con las personas que han participado. El interés y la utilidad de esta 
evaluación son para futuras ediciones del mismo programa u otros programas 
de similares características. 


Estas diferencias de propósitos evaluativos comportan también planteamientos de 
evaluación diferentes por lo que respecta a las personas implicadas, responsables, 
técnicas evaluativas más apropiadas, etc. En el cuadro 3.9 se presenta una síntesis de los 
rasgos diferenciales de la evaluación del diseño de un programa según el momento en que 
se realice. 


Cuadro 3.9. Aspectos diferenciales de la evaluación de la conceptualización y diseño 
de un programa según el momento en que se realice. 
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FINALIDAD 


PERSONAS 
IMPLICADAS 


TÉCNICAS 
EVALUATIVAS 


y 
4 ? 3 y : e ' 
TN E Es 


DURANTE 
SU EJECUCIÓN 


ANTES DE 


SU EJECUCIÓN 


Asegurar una bue- 
na fundamenta- 
ción 

Asegurar factibili- 
dad y posibilida- 
des de éxito 


Gestores y coor- 
dinadores de pro- 
gramas 
Profesorado 
Expertos/as 
Potenciales usua- 
rios/as 


Sesiones de eva- 
luación 

Juicios de exper- 
tos 


Asegurar una eje- 
cución e imple- 
mentación ajusta- 
da a lo diseñado 
Introducir los ajus- 
tes necesarios para 
su adecuación al 
contexto en el que 
se inserta 


Gestores y coor- 
dinadores de pro- 
gramas 
Personal del pro- 
grama: 

- profesorado, 
- administrati- 
vos, etc. 

Participantes 


Sesiones de eva- 
luación 


ca 


DESPUÉS DE 


SU EJECUCIÓN 


Controlar cómo 
han funcionado 
los elementos pro- 
grama 
Optimizar el pro- 
grama para edi- 
ciones futuras 


Gestores y coor- 
dinadores de pro- 
gramas 
Profesorado 
Participantes: 
“evaluación de la 
reacción” 


Sesiones de eva- 
luación 
Cuestionario eva- 
luativo 

Informe del profe- 
sorado 

Sesiones de revi- 
sión 


Un aspecto importante a considerar respecto a la mayor o menor envergadura que 
tiene una evaluación de esta naturaleza se refiere a si se trata de realizar la evaluación de 
programas innovadores o de programas ya en marcha; a saber: 


— Para los programas innovadores se debe realizar un pormenorizado análisis de 
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su fundamentación, planificación, viabilidad y posibilidades de éxito antes de 
llevarlo a cabo, hacer un cuidadoso seguimiento durante su ejecución y, al 
finalizar, una constatación de su calidad intrínseca. Incluso, para aquellos 
programas relevantes por el impacto que se espera de ellos, antes de 
implementarlos de forma extensiva, deberían ser objeto de una previa 
aplicación piloto. El énfasis de este estudio piloto recae fundamentalmente en 
el análisis intrínseco del programa, intentando dar respuesta a las cuestiones 
¿qué revisión debe hacerse en el programa antes de extenderlo?, ¿qué cambios 
se aconsejan hacer para mejorar su efectividad? 

— Para los programas establecidos —programas que llevan cierto tiempo 
funcionando— el énfasis de esta evaluación se coloca en una revisión más 
general del programa a fin de analizar si aún continúan siendo válidos y útiles. 
El programa responde a unas necesidades históricas y se debe plantear la 
vigencia de las mismas; también, puede que se base en valores y modelos de 
intervención que ya no son los adecuados; en ocasiones puede que haya 
perdido sus fundamentos y objetivos iniciales. Cuestiones básicas que la 
evaluación debería responder en este tipo de programas son del tono siguiente: 
¿es necesario continuar con el programa?, ¿qué componentes del programa 
deberían depurarse? 


Para el análisis evaluativo de los distintos componentes del programa se pueden 
utilizar los patrones criteriales e indicadores de evaluación que se estimen oportunos. Los 
cuadros expuestos en los epígrafes anteriores constituyen una buena fuente para su 
selección. En los puntos siguientes se describen los procedimientos de mayor uso para la 
evaluación de la conceptualización y del diseño de un programa. 


3.4.1. El informe del profesorado 


Sin duda, como señalaba en otra ocasión —Cabrera (1998)- el o la docente de las 
sesiones formativas es un observador o una observadora privilegiado a la hora de valorar 
el diseño de un programa, sea durante o después de su realización. Además de ponderar 
la idoneidad del programa, el profesorado aporta una información valiosa para su mejora. 

El informe del profesorado comprende, al menos, los tres apartados siguientes: 


a) Objetivos y contenidos: adecuación a las necesidades, características, 
expectativas, etc. de los participantes. Sugerencias de cambios. 

b) Metodología de enseñanza y evaluación: valoración de las técnicas específicas 
utilizadas, dificultades para el uso de otras técnicas que pueden ser más 
apropiadas, recursos, etc. Sugerencias realistas de optimización. 

c) Organización y clima de aprendizaje: nivel de satisfacción personal, de sus 
relaciones con el grupo y de las relaciones del alumnado entre sí. 
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El informe del profesorado debe tener una estructura ágil de cumplimentar por los y 
las docentes, y fácil de analizar por parte del coordinador o coordinadora del programa. 
Se le ha de proporcionar al profesorado desde el primer momento a fin de que durante su 
actividad observe los aspectos que interesan y sobre los cuales deberá informar. El 
cuadro 3.10 es un ejemplo de informe de profesorado. 


Cuadro 3.10. Ejemplo de Informe del docente (Fuente: Cabrera, 1998). 


a E IORMERE POSO” 


A MM Materia 
Nombre del Profesora mcccesreosasrronesersreensareseroorsones 


Instrucciones: marque con X en la escala de 1 (deficiente, muy insuficiente) a 9 (excelente, 

óptimo) su satisfacción con los siguientes aspectos del programa; deje en blanco las escalas 
que no considere pertinentes. Utilice el apartado de los comentarios para señalar los cambios 
que considera oportunos. 


I. OBJETIVOS Y CONTENIDOS 


1. Claridad para el alumnado de los objetivos de la materia 


desde el principio 123456789 
2 Adecuación del perfil del alumnado (conocimientos previos, 

expectativas, etc.) 123456749 
3. Implicación del alumnado en la delimitación de los objetivos 123456789 
4. Tratamiento de los temas y finalidad del programa: 

profundidad, extensión 123456789 
5. Distribución equilibrada del tiempo dedicado a cada tema 123456789 
6. Grado en que el alumnado queda preparado para continuar 

su autoformación 123456789 
7. Equilibrio entre conocimientos teóricos y desarrollo 

de habilidades prácticas 123456789 
8. Conocimiento del profesorado sobre el conjunto global 

del programa 123456789 
e ri a 123456789 
Comentarios y sugerencias de cambios: (a) indique si ha impartido la materia prevista y (b) 
precisiones sobre las valoraciones efectuadas, etc. 

lesa) 
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Il. METODOLOGÍA DE ENSEÑANZA Y EVALUACIÓN DEL ALUMNADO 


10. Posibilidades de utilizar la metodología/técnica de 


enseñanza prevista 123456789 
11. Buena calidad de los recursos de apoyo utilizados 23456789 
12. Suficiencia y oportunidad de los recursos de apoyo utilizados 1234567809 

% de tiempo dedicado a las siguientes metodologías 50% 100% 
13, Exposiciones orales por parte del profesorado 123456789 
14. Ejercicios, trabajos en pequeños grupos, estudio de casos, 

role playing, etc. 123456789 
OS ARA 123456789 
16. Claridad para el alumnado desde el inicio del sistema 

de evaluación 123456789 
17. Sistema satisfactorio de información de resultados 

de evaluación 123456789 
A 123456789 
Comentarios y sugerencias de cambios: incluya cualquier desviación respecto al plan previsto. 


III. ORGANIZACIÓN Y DESARROLLO DE LAS SESIONES 


20. Claro conocimiento desde el inicio de sus funciones 


en el programa 123456789 
21. Satisfacción con la configuración del grupo-clase: 

n.? de alumnado, nivel, etc. 123456789 
22. Satisfacción con el clima de clase: participación, 

actitudes, relaciones, etc. 123456709 
23, Satisfacción con los espacios de enseñanza: aulas, 

despacho tutorías, etc. 123456789 
24, Satisfacción con el material de apoyo: audiovisuales, 

informáticos, etc. 123456789 
25. Satisfacción con el horario: clases, atención alumnado, etc. 123456769 
26. Satisfacción por el apoyo logístico desde la administración 

y gestión 1234507399 
27. Satisfacción con el nivel de coordinación entre el profesorado, 

y materias 123456789 
28. Satisfacción con el sistema de evaluación del profesorado 

y de la materia 123456789 
29. Satisfacción con la remuneración económica 123456789 
30. Satisfacción personal general con su participación 

en el programa 123456789 
O 123456789 


Comentarios y sugerencias de cambios: incluya aquellos incidentes que le interese destacar. 
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3.4.2. Sesión de evaluación con los participantes 


La finalidad de una sesión de evaluación con los participantes de las actividades 
formativas es valorar los componentes de un programa de manera argumentada y 
favorecer el intercambio entre distintas apreciaciones. La dinámica flexible y participativa 
de la sesión permite que los participantes describan sus valoraciones, clarifiquen y 
argumenten sus percepciones. Todo esto favorece la reflexión conjunta sobre las mejoras 
que podrían hacerse en el programa. Una sesión de estas características puede realizarse 
en cualquier momento del programa: antes, durante y al final del programa. Su dinámica 
y estructuración son similares en una y otra ocasión, sobre todo por lo que se refiere al 
uso de un guión de evaluación. A continuación se expone a modo ilustrativo un guión de 
evaluación y se sugiere una dinámica para monitorizar una sesión de evaluación. 


Guión de evaluación 


Para la sesión de evaluación es aconsejable disponer previamente de un guión que 
sirva a los participantes como punto de partida de sus apreciaciones a la vez que ayuda a 
sistematizar sus intervenciones y sugerencias. El guión ofrece una serie de aspectos de la 
actividad formativa que pueden ser objetos de evaluación y que orientan la reflexión y 
discusión en el grupo. En absoluto se pretenderá que se valoren cada uno de los aspectos 
del guión, el grupo se centrará en aquellos que considere relevantes, así como puede 
añadir otros aspectos oportunos y no contemplados en el guión. En el análisis valorativo 
se deben destacar tanto los aspectos del programa que necesitan mejorarse como sus 
puntos fuertes; deben también ofrecerse sugerencias de mejoras u optimizadoras del 
programa. En el cuadro 3.11 se presenta un modelo de guión de evaluación para una 
sesión con el alumnado. 


Dinámica de una sesión de evaluación 


La dinámica de una sesión de evaluación, a título de sugerencia, puede ser la 
siguiente: 


a) Presentación al grupo de los objetivos de la sesión, incidiendo en la dimensión 
formativa de la evaluación, e instrucciones sobre el desarrollo de la sesión. 
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b) División del grupo en subgrupos de 5 o 6 participantes que trabajarán durante 10 
o 15 minutos aproximadamente los aspectos que consideren relevantes del 
guión de evaluación que previamente se les ha entregado. El portavoz del 
subgrupo deberá ir anotando las apreciaciones donde la mayoría se muestra de 
acuerdo, además de aquellas donde no existe tanto acuerdo. 


Cuadro 3.11. Ejemplo de Guión de evaluación para una sesión de evaluación. 


GUIÓN DE EVALUACIÓN 


A continuación encontrará unos aspectos que le ayudarán a reflexionar sobre el programa. Sólo se ofrecen a 
modo de guía y no necesariamente se tienen que tratar todos, puede añadirse cualquier otro que se considere de 
interés. 


1. FINALIDAD DEL PROGRAMA 


+ Relevancia de los objetivos generales del programa: necesidades personales/profesionales de los participantes, 
necesidades sociales, etc. 

+ Relación entre objetivos y tipología de los participantes: formación teórica previa, formación práctica, etc. 

+ Grado en que se ha desarrollado la capacidad para continuar autoformándose 

+ Otros 


2. OBJETIVOS Y CONTENIDOS 


+ Claridad y utilidad de los objetivos de cada módulo, sesión, etc. 

+ Secuencia y coordinación de los contenidos (entre los módulos y dentro de cada módulo) 
+ Valor relativo dado a cada módulo en el conjunto del programa 

+ Nivel de profundidad en el tratamiento de los contenidos 

+ — Contenidos que deberían haberse abordado y no se ha hecho 

+ Relación teoría/práctica en las sesiones 

+ Otros 


3. METODOLOGÍA, MATERIALES DE ENSEÑANZA Y EVALUACIÓN 


+ Metodología general: variedad metodológica, calidad de los ejercicios de aprendizaje, etc. 
+ Calidad de los materiales de enseñanza: documentación escrita, audiovisuales, etc. 

+ Nivel de participación de los participantes en la dinámica de las sesiones 

+ Sistema y criterios de evaluación 

+ Otros 


4, PROFESORADO Y CLIMA DE APRENDIZAJE 
+ — Dominio del profesorado de los contenidos teóricos y de su vertiente práctica 
+ Interés del profesorado por el aprendizaje del alumnado, tutorías, etc. 


+ Relaciones entre el alumnado y clima de las sesiones 
+ Otros 


5. ORGANIZACIÓN Y CONDICIONES FÍSICAS 


+ Información y atención servicios administrativos 
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Horario de las actividades 
Accesibilidad a espacios, instalaciones utilizadas, etc. 
Otros 


c) Puesta en común de las apreciaciones de los subgrupos para cada una de las 
áreas de evaluación comprendida en el guión, indicándose sobre todo el grado 
de acuerdo del grupo. 

d) Síntesis por parte del dinamizador de la sesión de los aspectos más relevantes 
que han surgido en la sesión. Un modelo de ficha resumen de la sesión se 


presenta en el cuadro 3.12. 


Cuadro 3.12. Ejemplo de ficha-sintesis de una sesión de evaluación. 


- RESULTADOS DE LA SESIÓN DE EVALUACIÓN O 


PE cnc E 
Ts e E NA 
a EF CINES cerrara 


INCIDENCIAS DESTACABLES: (actitud y nivel de participación de los asistentes, etc.) 


PP... nono... ..oonrrrr..roprsprr9rrorrr.”sonm2.nm.ooso.orsrsrsn9.ssoncrsrrrrrrsrnnr9.sns...... 


e .eo.osensrrrrrrnrrsrrrsnrrrrrnnosronsrossrsrrrrrrnnnrmsosnnssrrrrrrsssrrnasscnnsrrrorirnrrnsrrrrarrrrrnaaananaranoro nonsssagos 


VALORACIONES Y SUGERENCIA DE MEJORAS PROPUESTAS EN LA SESIÓN: 
a) Aspectos generales: 


oneroso rorrannrrrr nono rrrrsrrponsansossrrrrrrrrrrrrr nor rr sr rr rr 


PP... one rra narran oran eonorrrorcrrrnarsarsrrnrnororrnanarrrorsrrrrnoo.rropsrrrrroncnanasosasossarorosscrnnssn.o... 


Ars nrrrrrrrrariorrrnanrrrprsnnasarrarprrsr9rrsrrrrrsnnnsrmsrrrrrs9rrr9rnaprspnsrrsrrsirVrnninprsrnarrrnsnospnnsrrarrarn seo... 


rr eenrnrrrrrnrorssrmnnronrrrnrrnrrnrr.ororoserrrnrrsnsresonsm9srrsancaresnonoesoonsrssrsrrrransanornpmssrrrsrrrrs.roo..o.. 


Peon nrmmnnmmsonsnnrrrarrrnsrsnrrnrsrsrrrrnsnsrnssmsosprm9$srsrrnsrssnnonsors.nssrssrrrrnrranorrrrrsrnoscnrrmonn.on.. 


non. onronmo..rrr.rrrmrnrmmormm..n..orssrsrsrr..».srrssorcr.rsr9.9r9”9”9”m.oso..oon.ssrr9r99s$ rrm99sssnn.onrr.ocsrrrrrns...... 


ron ooo ono n rosas ossrrrnronranrssrrrrrrrrrsnnrnrnosopsrsrrrsrsrrncrnsrnnnssarrrnrsssrnss.snon... 


o... ononronporsrsrnsosmss.ornmssmponsrrrrrnrrrrr psss” rsrrninrrmoposrss$9”2..rss95rnsrrrssc9pssrono.rsp..onsor..n.o. 


Erro nmonsrnnonn.sororsrrrrrcrrrsrsrrrrrmssrrrrarrorrrsrosprrrrrrrrrrrrrrcornrrrosrrrraranaanaaananaannnrsenrsnonono... 


rro. onronoonn.n..rossrrrrnnsrssns9srsrrrrrnssnrrsrrrrrm9m9”9$”92”.2.osrrsrsssssrsr99.”9r.”$”$”9”2..2 * r...rrrrrrrs9s.rnsssonps.... 
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3.4.3. Sesión de revisión de programas establecidos 


La finalidad de la sesión de revisión es revalidar la calidad y utilidad de un programa 
o actividad formativa que lleva un cierto tiempo realizándose. También es útil someter un 
programa de gran envergadura a un proceso de revisión antes de hacer una nueva 
edición. Consiste en sesiones de trabajo con representantes de las personas directa o 
indirectamente implicadas en el programa, con el propósito fundamental de actualizarlo y 
adecuarlo a las necesidades vigentes. 

En estas sesiones es importante la asistencia de representantes del personal que de 
una manera u otra se relaciona significativamente con el éxito del programa. De especial 
importancia en estas sesiones es la implicación del siguiente personal, si bien la relevancia 
de uno y otro cambia según las características del programa en cuestión: 


| 


Responsables jerárquicos directamente relacionados con el éxito de la 
transferencia al puesto de trabajo de los comportamientos profesionales que 
desarrolla el programa. El interés de la implicación de estas personas en el 
proceso de revisión es doble: de un lado, validar los objetivos profesionales del 
programa por su relación con las necesidades reales de la organización; y, de 
otro, contribuir a facilitar la transferencia posterior de los conocimientos y 
habilidades adquiridas a los lugares de trabajo. 

—  Exparticipantes del programa que pueden proporcionar información valiosa 
sobre los cambios que potenciarían la utilidad del programa así como de las 
posibles barreras que encuentran en la aplicación de los conocimientos y 
habilidades adquiridas. 

— Expertos en el contenido académico sobre el que versa el programa a fin de 
asegurar su actualidad. 

— Expertos en formación a fin de velar por la calidad de las decisiones en materia 
pedagógica. 

— Representantes sindicales con el objetivo de velar por las normativas generales 

y específicas de la organización y que deben respetarse en el proceso de 

formación. 


Para la realización de la sesión puede utilizarse el guión que se expone en el cuadro 
3.13. El guión se debe entregar a los participantes animándoles que incluyan cualquier 
otro aspecto que consideren interesante. El cuadro 3.14 expone un ejemplo de ficha 
síntesis de la sesión. 


3.4.4. Los cuestionarios individuales de evaluación 


Sin duda la práctica más extendida de evaluación en las organizaciones es la de 
aplicr. a los participantes un cuestionario al final de la formación; lo que comúnmente se 
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conoce como “evaluación de la reacción”. La finalidad de este cuestionario es conocer 
cómo el alumnado valora el programa. Es cierto que esta opinión de los participantes es 
una fuente de información importante para determinar la calidad y utilidad de una 
actividad formativa, pero es necesario advertir los errores frecuentes que se hacen, por la 
forma como se aplica el cuestionario, para no convertir esta evaluación en una mera 
caricatura de lo que debería ser. 


Cuadro 3.13. Ejemplo de guión de evaluación para una sesión de revisión. 


90 


NOMBRE DEL PROORAMA srta RG 
OBJETIVO: 

+ Actualización del programa 

a Análisis de su transferencia al puesto de trabajo 


roer rr rrr rr naar rar rara rana nod 


PRESENTACIÓN: ] 
Después de a presentación de los participantes en la sesión s realza un exposición tes 


mida del programa junto on los ato de evaluación más relevantes de que se disponen 
A 


REVISIÓN DEL PROGRAMA: | 
Las sjguletes cuesone son Jstaivas además deayucer a retar la dscusión en la sesión: 


a) Objetivos y contenidos del programa: 

* ¿Qué objetivos de aprendizaje debería tener el programa para responder a las 
necesidades actuales?, ¿cómo se relacionan los objetivos actuales con las 
necesidades formativas de la organización? 

* ¿Qué cambios deberían hacerse?, ¿qué lagunas existen?, ¿la importancia 
relativa dada a cada uno de ellos es la adecuada?, ¿qué nivel de 
profundización deberían tener? 
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Otros 


b) Análisis de la transferencia de los conocimientos y habilidades: 


¿Cómo se pueden mejorar las relaciones entre el programa y las unidades de 
trabajo con las que se relaciona? 

¿En qué medida los conocimientos adquiridos se han podido transferir al 
puesto de trabajo?, ¿en qué medida han facilitado el trabajo? 

¿Qué barreras existen para la transferencia?, ¿cuáles tienen su origen en el 
propio usuario?, ¿cuáles en el personal de línea jerárquica superior?, ¿cuáles 
en la cultura de la organización? 

¿Qué se debe hacer para aumentar la transferencia de los conocimientos y 
habilidades adquiridas? 

Otros 


c) Estructura pedagógica: 


¿Qué metodología/técnicas de enseñanza-aprendizaje deberían seguirse para 
conseguir los objetivos?, ¿son congruentes con las características de los 
usuarios? 

¿Es correcta la proporción de las distintas metodologías/técnicas utilizadas? 

¿Cuál es el perfil más idóneo del profesorado para el éxito del programa? 

¿El material (dossieres o apuntes del alumnado, referencias bibliográficas, etc.) 
permite que el alumnado continúe autoformándose? 

¿El sistema de evaluación ha sido eficaz? 

Otros 


d) Organización y funcionamiento: 


¿Es suficiente la información o marketing que se hace del programa? 
¿La definición del perfil del destinatario es clara y suficiente? 

¿El sistema de selección de los participantes es eficiente? 

Otros 


Cuadro 3.14. Ejemplo de ficha-síntesis de los resultados de la sesión de revisión. 
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FECHA Ucmcinr mir esarisa canes ais MUERAN rata 


pOr00erreroroccVVrr corr rro rrcrro corr tdanunererrrrrrrrocor... —.... peracorrncrrrrcorcr rr rc circo arco rr crrrnrinoso 
Prarrroranrronor rr rIrrrrrcrrroraccrnnoda rro rncaracocarorcrrrer.. —...... eeorroorrrrnrancrccro rro rrooo rr r0V0ranorcaarcaroroooreoronooos 
PAPPMONOVALAAEUALIrancorrocarVVrr corno rnacoror noir rrrrrrcrocrr. —..... geoorarrorracororrrrrnnannccoricoor cancer renacido. 
ASA A RITA ANA 


Pon0nnanDCccoprrrrrccrrrrrrcrVVarraVccrr coro rorororrricncrperns..  — emeosrrcconncorrr roce corrcorrrrcrorrorrcrr arre condos 


PROPUESTAS DE CAMBIOS Y ACTUALIZACIÓN: 
a) Objetivos y contenidos: 


PPP rro rr n rro anno raro rro rr rra rr oro rr rra rro rro rrrrIIrIrr III rro raarrrrrorrrrrrrrrrcrrnros.. 
o orprserrrorrrnccnnVVrrcrcrrrnorcorprrrorerrrrrrrrrrrrra roca noc rororrronno corr rrrrcocrrcrrcrrrrrrcrccorcorrrrcroor cor rracrcrrdo born rrornrorornso 


m.ommmmecorororrrorancrcornVanorrarcancacagoncrrcrrrornrocorrrercrrrcorrdrooororcrcrr roo raro rrrrnnrrrrrrorrcorrcIrorrrroranrrnannerrrororrrcornsenr.. 


Porro rro rr AI rUrrr rra r rr rro rr rar orerrrrrcor rro rrrrnrrrarodocooranoss 
PPP PA rr rr rr rr Irena roo ror rr raro cr cano oo vor rro roo rrocrororrrroronornorcrrrnonororsnonoreos 
Pr rr rr rr rr rr RA rr rar rr rr dr rr rra rr rar rr rara aero 
PP rrmrrrr rr rr rro rro rr rro r arco rr rr rr rr raro raro rIrrr corran nrar porro poco rason a rocccaarocorosos 


Porro rra nr rr rrrrr rro rar rr IO rro rencor ar rro rro Nor on aca ncorrrrror corro nncrrrocccroronc.n, 


PP emorrrrrrrnrrVrrrranarorrnacoccororrrrrprrcrrarrrarorr rc coro rrrrconcr rar rrrorrrrrrrrr rr rr rr cicrcrrrrrrrorrrrrorcrroor rr rccrrccr ra nnrnoncosnaos 
PIANAAVUrrananoca porro rrrrorrncrnarrr rr rro rr nro rro ro raro rr rrrrrrOrr rr rr rrorrnrrcrcorrrcrrororrnrrrrirr 000 rr0roo rr rrroncaro rr rroorenaroocnos 


PPP rrr rro anAr 00 tor rr nrror nor rrrrrrrrrrIrr rr rra oran oros r corro ran crrrr 000 rorrrororrcararrrnoro rro orar ran rnprarconos 


PPP rro rop rr Urraranracocrarrrrroccorccnncrrcrncencoprrrrcrronrorrrr ro anor rro rrercoranrrrrrrrrrrrrrrrrrrararrconaroor or rrorcarorcrnse.. 
Porron pennonronprrrorocanonrnacancrarocorororrrrrrrrcrrcrcrror rro nrrrrrr corro arorrrIrr Iron anrnrrrrr caco rrorcrrrracannororrrorrrorrrr ceros 


(Pr rn rr rr r rr rn anno rro prrrrrrrrrrr canoa rrcrc arco porros rre rrrrrrrcrr rar rrcrnrrnorcornrprrrrararorrorroorocrroorcron.. 


PPP rro rr rr rro rro rar vor rrarocarrr rar rnorcornorrrrrerrrrrrrrr rro rro nur nc arco ro rr ro rro orrrrrr corr rrrcororarenrrrrorrrorrcorccoronser 
Proererrrccanrrcconorrnorrrcrenorrrcrrrer orar ar raro ropero rro rrrrrrrror rro or rcrprOPrrcI AAA rcor nro rrorrrrrrrrrrrcoprrrcrrrcorrrrroranno 


Po rmoncenno cer nnnrOr ro rVrrrr rro pancancrdorogororrrrerrrcrrVrcInorrrrr rro rorcecor rr 4co ir rincrra corr crocrrorrrccrrro corr r error rociero 


En primer lugar, es conocido que las encuestas finales se realizan frecuentemente al 
término de la formación, y tan al término que se reservan los últimos cinco o diez 
minutos de la última sesión formativa para su aplicación. La misma forma precipitada y 
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en el último momento de presentar la encuesta favorece que se perciba como un requisito 
burocrático más que hay que cumplimentar. Es probable que los asistentes con sus prisas 
o ansias por acabar la contesten también de forma precipitada y sin mucho compromiso 
por su parte. Á no ser que exista un grado de insatisfacción muy grande —que para 
detectarlo, por otra parte, no se necesita una encuesta—, la utilidad de los resultados de 
una “encuesta rutinaria” suelen ser bastantes superficiales e, incluso, los mismos 
coordinadores o coordinadoras no les prestan mucho crédito. 

De otra parte, el que sólo se apliquen al final de la formación limita el uso de sus 
resultados sobre todo si no se prevé hacer una reedición de la actividad o programa 
evaluado; tendrá una finalidad eminentemente de control sobre lo que se ha hecho y 
cómo se ha hecho y no de mejora y perfeccionamiento sobre lo que se está haciendo. 

Por último, y posiblemente lo más lamentable de lo que ocurre con la práctica de las 
encuestas de opinión, es que una vez rellenadas no se les presta la debida atención. Suele 
hacerse un análisis muy superficial de las respuestas, incluso se elaboran algunos gráficos 
de los resultados pero no se dedica el tiempo suficiente para analizarlos y obtener 
información relevante. Es práctica frecuente que los formularios rellenos acaben en algún 
cajón de algún despacho, alguien les habrá echado una mirada a las respuestas, habrá 
obtenido una impresión general sobre lo que parece que más y menos ha gustado a los 
participantes y si, en general, el programa parece que no ha desagradado no se seguirá 
ninguna acción posterior de mejora. 

La aplicación de las encuestas de forma precipitada al final de la formación y el poco 
uso que se le da a sus resultados da lugar a que esta evaluación tenga poco crédito y su 
eficacia se vea con escepticismo entre los participantes e, incluso, entre el personal de 
formación. En cambio, cuando se hace una buena planificación de cómo, cuándo y quién 
debe aplicar el cuestionario, cómo deben analizarse los datos y quién debe recibir 
información sobre ellos, la información que proporciona la reacción de los participantes 
es muy valiosa. Algunas sugerencias al respecto se recogen en los siguientes puntos: 


a) Respecto a la aplicación de los cuestionarios 


— En programas de larga duración no debe limitarse su aplicación al único 
momento final del programa; se aconsejan al menos dos aplicaciones durante el 
desarrollo del programa, si no se ha previsto alguna otra forma de recoger 
información sobre la reacción de los participantes. 

— En caso de la aplicación final, no se debe esperar al último momento del último 
día. Un buen momento puede ser al principio de la última o penúltima sesión, 
dejándoles el cuestionario hasta el final de la sesión a fin de que expresen si lo 
desean sus últimas valoraciones. 

— Debe introducirse siempre en forma positiva y estimulando a una participación 
responsable que proporcione respuestas útiles para la mejora del programa. Las 
investigaciones ponen de manifiesto que la forma de presentación condiciona 
los resultados de los cuestionarios; así, los participantes emiten valoraciones 
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más generosas cuando se presenta la evaluación acentuando su carácter de 
control que cuando se presenta como una evaluación de naturaleza formativa. 

— Un aspecto a valorar es si el monitor o docente es la persona que debe aplicar el 
cuestionario. Los resultados de las investigaciones sobre este particular han 
puesto de manifiesto que las valoraciones de los asistentes sobre el profesorado 
son más positivas cuando éste está presente durante el momento de 
cumplimentar la encuesta. 


b) Respecto al contenido de los cuestionarios 


Con frecuencia se dedica poco tiempo a la elaboración de un buen cuestionario, e 
incluso un mismo modelo se utiliza para distintas actividades formativas, ya sean 
innovadoras o repetitivas, ya se prevean repetir o se traten de una única edición, etc. El 
contenido del cuestionario debe pensarse cuidadosamente y elegir aquellas preguntas que 
realmente aporten información valiosa para la utilidad que se quiere dar a la evaluación. 
Las cuestiones deben centrarse en los aspectos críticos del programa susceptibles de 
cambiar; es una pérdida de esfuerzo y, en ocasiones, de motivación, el preguntar sobre 
aspectos del programa que no pueden alterarse. Los apartados que comprenden 
normalmente estos cuestionarios incluyen los siguientes aspectos: 


— objetivos y contenidos 

—  metodología/técnicas de enseñanza-aprendizaje y evaluación 

— profesorado 

— materiales y medios de enseñanza 

— Clima de relación y comunicación 

— espacios y organización 

— utilidad y posibilidades de transferencia de los aprendizajes adquiridos 


La exposición hecha en los epígrafes anteriores sobre los parámetros criteriales e 
indicadores de evaluación de distintos componentes de la formación constituye una 
excelente fuente de preguntas para elaborar un cuestionario. No se trata de recoger 
información de todos los indicadores de evaluación que se han listado sino que es 
necesario reflexionar —a veces, llegar a un consenso entre las partes— y elegir aquellos que 
aportan la información que se necesita. Con relación a la mayor o menor extensión del 
cuestionario debe distinguirse entre un programa innovador y que se prevé reeditar, para 
el cual sería bueno hacer una análisis pormenorizado, y aquel que lleva tiempo 
realizándose o que no se prevé repetir, donde puede ser suficiente una apreciación 
general del diseño del programa, a saber, 


— Un análisis en profundidad del diseño para los programas nuevos tiene el 
propósito de descubrir las barreras que dificultan el aprendizaje y que no 
fueron visibles en el diseño original del programa, a la vez que comprobar que 
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el programa resulta relevante y realista desde la perspectiva de los 
participantes. Requiere un cuestionario amplio con un número de cuestiones 
suficientes para identificar los aspectos particulares del programa objeto de 
revisión, sobre todo en lo que se refiere a sus objetivos y contenidos, 
metodologías y técnicas de enseñanza y organización general del programa. 
Menos énfasis se coloca en la valoración del profesorado y en el sistema de 
evaluación del alumnado; estos dos aspectos serán los centros de interés en el 
siguiente nivel que corresponde a la segunda edición del programa. 

— Un análisis más general para programas que se repiten tiene la finalidad de 
analizar su capacidad para adaptarse a cada grupo de participantes y ser útil 
para los comportamientos profesionales a los que se dirige. Se pretenden 
detectar aquellos pequeños cambios que harían el programa más asequible a 
los distintos grupos de participantes y mejor ajustado a las necesidades 
formativas actuales y relevantes de la organización. También, el énfasis de la 
evaluación en este nivel se coloca en la mejora del profesorado; en este caso, 
la evaluación debe ser eminentemente un instrumento del formador para 
mejorar sus estrategias de enseñanza. 


9% 


4 


Evaluación del seguimiento de la formación 


No basta con planificar bien y de manera cuidadosa las actividades de formación, es 
preciso analizar lo que sucede durante su desarrollo y las incidencias de los imprevistos 
sobre ellas. Esta es la principal misión de la evaluación de la implementación y 
seguimiento de la formación, es decir, obtener continua información que ayude al 
personal implicado, al nivel que fuere, a realizar la formación tal como se había 
planificado o, si se considera que el plan ha sido inadecuado o impreciso, introducir las 
modificaciones o concreciones necesaria, además de vigilar y asegurar un uso eficiente de 
los recursos humanos, materiales y financieros en la realización de las actividades 
formativas. Esta evaluación se inicia cuando se ponen en marcha las actividades 
formativas y continúa durante su ejecución. 

Existen varias razones que justifican este tipo de evaluación. Primero, monitorizar 
las actividades formativas para su mejor ajuste al contexto donde ocurren y población a 
la que atiende el programa; debe responder a la preocupación del personal por saber qué 
es lo que se está haciendo, quién y cómo se hace. Segundo, esta evaluación se debe 
entender como una precondición de la evaluación de resultados, pues los fallos de un 
programa en conseguir sus objetivos a menudo son fruto de errores en su realización: 
ejecuciones incompletas o defectuosas respecto a la planificación prevista. 

En síntesis, una evaluación centrada en el proceso de formación debe evaluar, como 
señala Bartolomé (1990), la coherencia lógica del diseño en su adecuación al contexto y 
las posibilidades de su realización a través de un acercamiento progresivo de las metas 
previstas a las percibidas por el grupo, de una parte, y de un acercamiento de las 
actividades previstas a las realizadas, de otra. 

En el presente capítulo se abordará esta modalidad de evaluación desde dos 
perspectivas. En una, el análisis evaluativo se centra en el programa de formación: la 
implementación y optimización de su proceso de desarrollo. En otra, el objeto de 
evaluación se sitúa en la política de formación y el análisis se centra en la monitorización 
y seguimiento de la gestión de planes de formación. 


4.1. Finalidades de la evaluación de la implementación y seguimiento de la 
formación 


Los fallos en la realización de la formación se deben a dos razones fundamentales: 
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primero, pueden tener su origen en planificaciones muy vagas o defectuosas; segundo, se 
ejecuta de forma incorrecta o defectuosa una planificación bien especificada. La pregunta 
fundamental que debe responder la evaluación centrada en el proceso es cómo está 
funcionando la formación. La respuesta a esta cuestión se puede abordar desde dos 
centros de interés que tienen alcance y finalidades diferentes: a) los procesos formativos 
que ocurren en las actividades, y b) el sistema de gestión, ritmo y productividad de las 
actividades de formación. En el primer caso, el objeto de evaluación se concreta en 
programas particulares de formación para garantizar su implementación exitosa y la 
optimización de los procesos formativos a que dan lugar; en el segundo caso, el objeto de 
evaluación es el seguimiento de planes de formación. Como se observa en el cuadro 4.1, 
las cuestiones a las que hay que responder en la evaluación de la implementación y 
seguimiento de la formación son diferentes según sea uno u otro el propósito y el objeto 
del análisis. 

A continuación se exponen los objetivos específicos, indicadores y estrategias 
evaluativas más frecuentes para las dos modalidades de evaluación recogidas en el 
cuadro anterior. 


4.2. Evaluación de la implementación y optimización de procesos 


La finalidad de la evaluación de la implementación es valorar la adecuación de las 
actividades formativas diseñadas en un papel a las coordenadas reales del contexto donde 
se ejecutan, identificando desviaciones respecto al plan previsto, ayudando al personal a 
realizarlas de la mejor manera y, en activida-des de larga duración, valorando la reacción 
y el progreso de los participantes hacia los objetivos, es decir, la eficacia progresiva del 
programa. 


Cuadro 4.1. Objetivos de la evaluación de la implementación: cuestiones ilustrativas. 


MONITORIZACIÓN Y SEGUIMIENTO 


IMPLEMENTACION Y OPTIMIZACIÓN DE LA GESTIÓN DE PLANES DE 


DE LOS PROCESOS FORMATIVOS 


FORMACIÓN 
e Evaluación de la implementación e Evaluación de la cobertura 
¿Se ha realizado una adecuada puesta ¿La formación está llegando a la 
en marcha del programa? población que la necesita? 
¿Se está realizando de la manera ¿Se producen desviaciones respecto a 
prevista? lo previsto? 
¿Qué cambios y modificaciones deben ¿Existen sesgos no deseados en la 
hacerse durante su desarrollo para población que está siendo atendida por 
garantizar unos resultados mejores? la formación? 


¿Hasta qué punto el personal 
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responsable de ejecutar el programa 
(personal de gestión, docencia, etc.) 
asume sus funciones y pone en juego 
las capacidades necesarias? 

¿Qué ayudas específicas (asesoría, 
información, etc.) necesita el personal 
para realizar correctamente sus 
funciones? 


e Valoración de la reacción y progresos 
de los participantes 

¿De qué manera están reaccionando 
los participantes? 

¿Hay constancia de que se están 
alcanzando los objetivos de formación 


e Evaluación del esfuerzo y del 


funcionamiento 

¿Qué desviaciones se producen 
respecto a las actividades previstas? 
¿Cuál es la fluctuación de las 
demandas de formación? 

¿En qué medida hay un control de la 
temporalización? 


e Evaluación de la productividad 


¿Cuál es el rendimiento de las acciones 
de formación? 

¿Es adecuada la relación entre 
personas formadas y recursos que se 
destinan a formación? 


previstos? 

¿Existen dificultades de orden 
intelectual o emocional en los 
participantes que les dificultan la 
consecución de los objetivos? 

¿El programa está teniendo efectos 
colaterales o no previstos que deben 
tomarse en consideración? 


e Evaluación financiera 
¿Cuál es la tendencia de los costes en 
formación? 
¿Qué costes superan las previsiones? 
¿En qué partidas ocurren 
desviaciones? 


Este tipo de evaluación es particularmente importante en las actividades que se 
planifican en instancias y por personas que no son las mismas que tienen el encargo de 
realizarlas. En estos casos es fácil que en su realización sean objeto de interpretaciones 
diferentes a las inicialmente previstas. Del mismo modo, esta evaluación es necesaria en 
situaciones donde una actividad o programa de formación se hace extensivo a contextos 
distintos, con personal que no ha participado en su planificación y, en consecuencia, 
donde es lógico esperar divergencias de implementación de un lugar a otro. 

No se trata de llevar a cabo un análisis minucioso de lo que ocurre en la práctica de 
las actividades formativas que, por lo demás, consumiría esfuerzos infructuosos. Lo 
importante es determinar, para cada actividad o programa, los elementos y las 
operaciones que son “críticos” para los resultados finales que se pretenden alcanzar; es 
decir, centrar la evaluación en aquellos componentes cuya ausencia o presencia parece 
mantener relación con el éxito o fracaso de la actividad o programa. 


4.2.1. Fases de la evaluación de procesos 
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La evaluación de la implementación y optimización de procesos formativos 
comprende los tres momentos o fases siguientes: 


Primero. Describir la actividad o programa de formación tal como se ha previsto en su 
diseño e identificar sus elementos más significativos 


El punto de partida es conocer las características que en teoría definen al programa 
cuya implementación y desarrollo va a ser objeto de evaluación. Se trata de conseguir 
una visión comprensiva del para qué y cómo se concibió el programa. A menudo las 
respuestas a estas cuestiones están más en la mente de los planificadores que en los 
documentos escritos de los programas. Cuando se trata de programas bien diseñados, la 
tarea resulta fácil. Sin embargo, la realidad muestra que los programas a menudo se 
diseñan de una manera bastante general, dejándose las concreciones de muchos 
elementos a los responsables de su ejecución. 

En la descripción del programa se distinguen dos áreas de interés: los elementos 
contextúales y personales del programa y las actividades que desarrolla. En el cuadro 4.2 
se exponen algunos elementos que sirven para describir un programa cuando se tiene la 
intención de evaluar su implementación. Esta descripción puede ser más o menos 
detallada según la naturaleza y finalidad de la evaluación. En una evaluación formativa, 
emprendida con el propósito de mejorar el proceso y ayudar al personal mientras 
desarrolla el programa, el análisis debe ser mucho más detallado que en una evaluación 
sumativa, que tiene un carácter más de control y una finalidad de informar en términos 
generales sobre lo que se ha realizado o se está realizando. 

A la vez que se hace la descripción del programa, deben indicarse los elementos que 
son “críticos” para su éxito o, con más exactitud, para satisfacer las necesidades 
formativas que justificaron su creación. Para esta tarea, es necesario clarificar la 
fundamentación teórica del programa y delinear las relaciones causales entre los distintos 
elementos del programa (perfil del docente, metodologías de enseñanza, participación de 
los asistentes, etc.) y los resultados que se esperan alcanzar. Asimismo, sería preciso 
recabar las opiniones de los responsables de su planificación y realización sobre los 
elementos que consideran significativos y relevantes para el éxito del programa. También 
un buen indicador sobre la importancia relativa de los componentes de un programa 
puede ser su asignación presupuestaria. 

Al final de estas operaciones se obtiene un listado de los elementos contextúales y de 
las actividades formativas que constituyen y definen el programa, distinguiendo entre los 
que se consideran esenciales y cruciales para su éxito de los que son más accesorios. 


Segundo. Describir cómo transcurre en la realidad el programa en los elementos que 
se consideran claves para su éxito 


Una vez que se ha identificado lo que en teoría sería un “funcionamiento ideal” del 
programa, se trata ahora de contrastarlo con el que ocurre en la realidad. Determinar qué 
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desviaciones han ocurrido y las razones de las mismas. La información que se precisa 
recoger en esta fase obviamente depende de los elementos que se han considerado 
cruciales para el programa. En el cuadro 4.2 se expone información específica que puede 
ser de interés para analizar algunos elementos particulares del programa. 


Tercero. Valorar las desviaciones y facilitar la optimización de los procesos 


Es una fase que cabalga con la anterior puesto que su finalidad es valorar los 
desajustes entre el modelo teórico ideal y el funcionamiento real del programa en aquellos 
elementos que se han considerado cruciales para el éxito en sus resultados. Como 
resultado de esta fase se redefine el programa si es necesario, a la vez que se contribuye 
a su adecuada implementación facilitando al personal información para que realice los 
ajustes necesarios. En el cuadro 4.2 se exponen una serie de cuestiones para llevar a 
cabo este análisis comparativo. 


Cuadro 4.2. Fases de una evaluación de la implementación y proceso de un programa. 
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Descripción de la formación 
tal como se ha previsto en su 
diseño. 
Identificación de sus elemen- 
tos más significativos 


Describir cómo operan en la 
realidad los elementos claves facilitar la optimización de 


para su éxito 


Valorar los desajustes y 


los procesos 


+ Descripción de elementos +* 
contextuales y personales: 


- Necesidades de for- 
mación que se preten- 
den satisfacer y su * 
relación con los obje- 
tivos del programa: 
cómo y por quién se 
establecieron las nece- 
sidades, quién partici- 
pó en la definición de 
objetivos y delimita- +* 
ción de contenidos, 


etc. 
— Perfil de los destinata- 
rios del programa: 


características perso- 
nales, académicas, * 
profesionales, etc. 

— Historia del programa: 
tiempo de funciona- 
miento, si es programa 
innovador o una ver- 
sión modificada de un 
programa anterior, etc. 

- Característica y núme- 
ro del personal que 
forma parte del pro- 
grama: funciones espe- 
cíficas, criterios de 
selección, etc. 

- Recursos y materiales 
de apoyo: los previs- 
tos, responsables de su 
elaboración, etc. 


Participantes: perfil, proce- 
so de selección seguido, 
número, composición de los 
grupos, etc. 


Recursos y materiales de 
apoyo docente: qué uso se 
está haciendo, disponibili- 
dad en el momento oportu- 
no, calidad de impresión, 
etc. 


Contexto físico: condiciones 
de luminosidad y ruido exis- 
tentes, problemas de acce- 
so, limitaciones o restriccio- 
nes a las actividades de 
enseñanza-aprendizaje 
Actividades de enseñanza 
que están ocurriendo: cómo 
considera el docente que se 
relacionan los objetivos y 
contenidos del aprendizaje 
con los objetivos de capaci- 
tación que pretende el pro- 
grama, cómo se refleja la 
importancia de los objetivos 
en la enseñanza, qué grado 
de dominio tiene el profeso- 
rado de la metodología que 
usa, grado en que los ejerci- 
cios facilita la transferencia 
de los aprendizajes, clima de 
comunicación que se favo- 
rece, etc. 


102 


e Comparar en cada ele- 
mento crítico: 


1. En qué medida se ha 
puesto en marcha y 
si se está realizando 
tal como idealmen- 
te se preveía (sea por 
escrito, sea en la 
mente de los planifi- 
cadores) 

2. Si no es así, lo que 
ocurre en su lugar 

3. Las razones, sean 
materiales, adminis- 
trativas o personales, 
que justifican los 
cambios o las modi- 
ficaciones del plan 
previsto y en la 
dirección en que se 
han hecho 

4. Dificultades o res- 
tricciones que limi- 
tan la realización tal 
como se había pre- 
visto 


e Valorar según criterios 
de: 


- Coherencia y perti- 
nencia interna: 


— con los objetivos 
pedagógicos 


Ridloa! 
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Contexto físico del 
programa: lugar donde 
se prevé realizar, faci- 
lidades de acceso, etc. 
Etc. 


Descripción de las activi- 
dades: 


Actividades de ense- 
ñanza: metodologías y 
técnicas que deben uti- 
lizarse, etc. 
Actividades de apren- 
dizaje: qué se espera 
que hagan los partici- 
pantes, etc. 
Actividades de evalua- 
ción: qué tipo de eva- 
luación se prevé, qué 
técnicas, responsabili- 
dades en la evalua- 
ción, etc. 

Actividades de coordi- 
nación: línea jerárqui- 
ca prevista para la 
toma de decisiones, 
previsiones de accio- 
nes para la coordina- 
ción, funciones espe- 
cíficas del coordinador, 
etc. 

Actividades adminis- 
trativas: soporte admi- 
nistrativo del progra- 
ma, si el personal 
cumple una función 
estrictamente adminis- 
trativa o si son impor- 
tantes en la dinámica 
del programa, etc. 


Etc. 


Actividades de aprendizaje 
que están ocurriendo: asis- 
tencia de los participantes, 
razones de las deserciones, 
grado de implicación de los 
participantes en el aprendi- 
zaje, etc. 


Actividades de evaluación 
que se realizan: momento en 
que se han previsto realizar, 
información dada a los par- 
ticipantes sobre el sistema de 
evaluación, calidad técnica, 
los instrumentos de evalua- 
ción, etc. 


Actividades de coordinación 
que se realizan: claridad 
para personal del programa 
de sus funciones y de lo que 
se espera de ellos, calenda- 
rio de reuniones o entrevis- 
tas de coordinación, activi- 
dades del coordinador, 
respeto y funcionalidad de la 
línea jerárquica prevista, etc. 


Reacción de los participan- 
tes: cómo están reaccionan- 
do los participantes respecto 
a los componentes de la for- 
mación (objetivos, profeso- 
rado, material, etc.) 


Progreso de los participantes 
en los objetivos: resultados 
de evaluaciones de aprendi- 
zaje de objetivos interme- 
dios, etc. 


Etc. 


- con las caracte- 
rísticas de los 
participantes 

- con los otros 
componentes 
de la formación 


- Coherencia y perti- 
nencia externa: 


- con las necesi- 
dades a satisfa- 
cer 

- con los objeti- 
vos profesiona- 
les 

- Clima y cultura 
de la organiza- 
ción 


Redefinir el programa si es 
necesario 
Ayudar al personal a reali- 
zarlo de la mejor manera 
Ajustar metas y activida- 
des 


Un valor importante a destacar de esta evaluación es el proceso de adaptación mutua 
que sufre el personal y el programa. Como señala Bartolomé (1990), si son el personal y 
los participantes los que intervienen en la evaluación del proceso: 


— Las personas modifican sus prácticas de acuerdo con los requerimientos del 
programa o actividad. 

— Las metas y estrategias del programa se adaptan a la realidad donde se lleva a 
cabo. 


Estas fases no deben interpretarse en un sentido estrictamente lineal aunque sean 
consecutivas en el tiempo, sobre todo la segunda y la tercera fases. Más bien se trata de 
Operaciones que van muy unidas: a la vez que se recoge información sobre cómo están 
funcionando los componentes clave del programa se constatan las desviaciones respecto 
al plan previsto, así como los errores o dificultades de funcionamiento que es necesario 
solventar cuanto antes posible. Es más, cuando se hace la evaluación desde una 
perspectiva formativa en la que el personal participa de manera activa, el mismo proceso 
evaluativo contribuye a sensibilizar a las personas implicadas y se hace más fácil la 
adaptación mutua entre programa y personas que participan, tal como se ha comentado 
en párrafos anteriores. 


4.2.2. Cuándo, cómo y quién debe realizar la evaluación de la optimización de 
procesos 


Esta evaluación tiene pleno sentido y eficacia cuando se realiza mientras transcurre 
el programa o actividad de formación. No obstante, también puede aplicarse una vez 
acabado el programa de formación, pero, como debería ser obvio, la utilidad de sus 
resultados es distinta. En el primer caso, se hablaría de una evaluación formativa con una 
finalidad eminentemente de mejorar lo que se está haciendo antes de que sea demasiado 
tarde. En el segundo caso, se tratará de una evaluación sumativa que desde una visión 
retrospectiva intenta dar razón de lo que ha ocurrido durante el desarrollo del programa. 

Sin duda el enfoque esencial que debe orientar este tipo de evaluación debe ser de 
naturaleza formativa. Sus resultados serán útiles para todas las personas que participan 
en el programa. A gestores y docentes les proporciona información sobre los cambios 
necesarios que deberían hacerse antes de que los errores en la ejecución malogren los 
resultados que se esperan obtener con el programa. Estimula la implicación de los 
participantes y les proporciona retroalimentación sobre los logros que van consiguiendo; 
contribuye a desarrollar mayor responsabilidad de los propios procesos de aprendizaje. 

Si la evaluación se realiza con carácter sumativo, se lleva a cabo una vez O 
prácticamente finalizado el programa. Su utilidad es servir de base para explicar y 
comprender mejor los resultados finales que se alcanzan con el programa. También 
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puede tener una finalidad de supervisión o control en el sentido de justificar 
responsabilidades personales o administrativas: ¿el personal hizo lo que tenía que hacer?, 
¿los recursos se utilizaron como se había previsto? 

El evaluador en este tipo de evaluación no debe actuar sólo. Más bien debe 
constituirse en equipo de evaluación con el personal del programa, o parte de él. Las 
decisiones que deben tomarse a la luz de los resultados de esta evaluación afectan al 
personal que realiza el programa, tanto gestores como docentes y participantes. Se 
reconoce que existe una relación directa entre el nivel de implicación del personal del 
programa en esta evaluación y su disponibilidad y compromiso para acoger los cambios 
que mejorarían la marcha del programa. 

En realidad, una evaluación de estas características es un análisis y una reflexión 
sobre el programa que está en marcha y debe hacerla, si no todo el personal, sí aquellas 
personas más relevantes para su éxito y con capacidad de decisión sobre el mismo. 

Los procedimientos para obtener información son básicamente de cuatro tipos: a) el 
análisis de los documentos del programa, de sus archivos y documentación, y de los 
productos que se van produciendo como resultado de las actividades de enseñanza y 
aprendizaje; b) la observación directa de lo que acontece en las actividades; c) las 
entrevistas con las personas clave que conocen qué está ocurriendo en la puesta en 
marcha del programa (gestores, administradores, docentes, etc.); y d) cuestionarios o 
sesiones de evaluación con los participantes para valorar sus reacciones y actitudes ante 
el programa. En el cuadro 4.3. se expone el uso de las distintas técnicas según el 
momento de la evaluación. De estas técnicas, tiene una especial importancia la 
observación directa cuando se trata de valorar lo que en realidad está ocurriendo en el 
programa: qué es lo que se hace, cómo y quién lo hace y cómo se está reaccionando. 


Cuadro 4.3. Procedimientos de evaluación más usuales para evaluar la 
implementación y optimización de procesos formativos. 
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Describir el diseño previsto Describir cómo operan en Valorar las desviaciones 


e identificar elementos la realidad los elementos y facilitar los cambios 
clave clave 
e Sesiones de evaluación 
e Análisis de documentos + Cuestionarios de reacción con las distintas audien- 
sobre el programa a los participantes cias 
e Entrevista con personal + Análisis de productos de 
clave enseñanza-aprendizaje 
e Observación directa (ejercicios formativos, 
e Entrevistas con personal autoevaluaciones, etc.) 
clave e Análisis de registros y 


documentos administrati- 
vos que va produciendo 
el programa 


4.3. Monitorización y seguimiento de planes de formación 


Es una evaluación interna sobre los procesos de gestión y control del conjunto de las 
actividades y programas de formación. Con el fin de detectar posibles desviaciones y de 
mejorar la gestión, se elaboran procedimientos sistematizados y continuos de recogida de 
información. Responde sobre todo a una voluntad de “control” y de seguimiento de los 
esfuerzos y recursos que se destinan a la formación. En sentido estricto puede que no se 
entienda el seguimiento de la gestión de la formación como evaluación. Si embargo, 
cuando este seguimiento no se limita a recoger unos datos e indicadores de gestión, sino 
que realiza comparaciones entre ellos y analiza tendencias, y se hace con la intención de 
emitir un juicio de valor, el proceso que se sigue es similar a una evaluación: valorar unas 
acciones frente a otras, valorar las desviaciones respecto a lo previsto, valorar la 
evolución de indicadores de esfuerzos dedicados a la formación, etc. 

En la práctica es frecuente confundir la evaluación de la gestión de la formación con 
la evaluación de sus resultados o efectos. A menudo los informes de evaluación consisten 
en recopilaciones de datos sobre indicadores de gestión, es decir, sobre los medios y 
recursos utilizados en la formación, las actividades realizadas, el perfil de los colectivos 
formados, etc. Debe distinguirse entre los resultados de la formación y los productos 
(outputs) de la formación. Los primeros se relacionan con los objetivos de la formación, 
con las situaciones o problemas que se desean modificar o solucionar; por consiguiente, 
se refieren a los efectos sobre el nivel de aprendizaje de los colectivos formados, sobre 
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sus comportamientos y rendimientos o sobre las metas y misión de la organización. Los 
segundos, los productos de la formación, se relacionan con objetivos de gestión (por 
ejemplo, organizar un determinado número de acciones formativas por año) y 
“productos” de la formación (por ejemplo, horas de formación realizadas, efectivos 
formados, etc.) que se obtienen por el mero hecho de realizar las actividades 
planificadas; no implican necesariamente por sí mismos una repercusión sobre las 
situaciones que se han de modificar. Una formación puede generar una serie de 
productos en gran número y de excelente calidad pero carecer de eficacia o efectividad 
en cuanto que no repercuten sobre las situaciones laborales a mejorar. 

En la evaluación de la gestión, los especialistas suelen distinguir áreas objeto de 
análisis caracterizadas por sus propios indicadores. En el cuadro 4.4 se exponen las 
propuestas que ofrecen algunos autores relevantes en este campo. 

Cualquier clasificación en principio es válida, al igual que el amplio listado de 
indicadores que entre unas y otras ofrecen. Lo importante es seleccionar aquellos 
indicadores que tienen un propósito definido en el análisis de evaluación que se desea 
hacer. No es necesario utilizarlos todos, sino aquellos que sean útiles en función de los 
objetivos de la evaluación y de las limitaciones que su obtención representa. La cuestión 
esencial es que el final no sea una recopilación de datos, expresados en gráficos muy 
atractivos, sino que los datos o valores que se obtengan sean objeto de un análisis 
valorativo como resultado de un proceso de contraste y comparación. 

La propuesta siguiente de clasificación de indicadores de gestión puede ayudar al 
lector a elaborar la más adecuada a su organización sin pretender con esto solapar las 
ofertadas por otros especialistas; se distinguen cuatro áreas de evaluación, a saber: 


Valoración de la cobertura: proporciona información sobre la incidencia de la 
formación en los distintos colectivos de personas, de su eficacia y posibles 
desviaciones. 

Valoración del esfuerzo y funcionamiento: se orienta a valorar los esfuerzos 
humanos y materiales dedicados a la formación y su puesta en marcha. 

Valoración de la productividad: pretende valorar los productos que se obtienen 
con la formación y su relación con los esfuerzos utilizados para ellos. 

— Valoración financiera: se valoran los gastos de formación con relación a su 

productividad. 


| 


Cuadro 4.4. Propuestas de área para clasificar los indicadores de gestión. 
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Producción: 

— n.* formados 

- días de forma- 
ción 

- horas de for- 
mación, etc. 


Impacto sobre los 

efectivos: 

-  días/formador 

- efectivos por 
unidad, etc. 


Funcionamiento: 

- tiempo de es- 
pera 

- índice de rea- 
lización de 
acciones pre- 
vistas, etc. 


Gastos en forma- 

ción: 

- gastos globales 
sobre volumen 
de negocio 

— relación gastos 
sobre masa sa- 
larial, etc. 


Financiación de 

los gastos: 

— gastos cubier- 
tos por sub- 
venciones 

- gastos cubiertos 
con recursos 
propios, etc. 


Cobertura: 

- efectivos for- 
mados 

- perfil efectivos 

- demandas, etc. 


Esfuerzos: 

- volumen  re- 
cursos huma- 
nos 

- horas/profesio- 
nal 

— recursos, etc. 


Proceso: 

-  n. actividades 

— tipo activida- 
des 

- distribución 
tiempo, etc. 


Productividad 

= n. activida- 
des/ profesio- 
nal, etc. 


Calidad de la aten- 

ción: 

- dedicación del 
tiempo: activi- 
dades, gestión, 
formación, etc. 


Producción: 

— días de forma- 
ción 

— horas de for- 
mación 

- n* formados, 
etc. 


Financieros: 

- gastos /masa 
salarial 

- gastos/ volu- 
men de nego- 
cio, etc, 


Penetración: 

- horas forma- 
ción/horas de 
trabajo por 
categorías 

— efectivo for- 
mado/ efectivo 
por formar, 
etc. 


Funcionamiento: 

- sesiones he- 
chas/ sesiones 
previstas 

— número medio 
de  alumna- 
do/acción de 
formación, etc. 


Efectivos atendidos: 

-  acciones/ efec- 
tivos 

— horas forma- 

ción/ horas tra- 

bajadas, etc. 


Duración media 
de la formación: 
— ¡internas 

- externas, etc. 


Tiempo de forma- 
ción por efectivos: 
- internas 

- externa, etc. 


Costos horas de 
formación: 
- ¡internas 
- externas, etc. 


FEE 
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Cualquier tipo de valoración que se pretenda exige un proceso sistemático, 
consistente, al menos, de los siguientes pasos: 


e Primero. Determinar los objetivos de la evaluación para las áreas que interese 
(cobertura, esfuerzo, productividad, etc.). Es importante que este paso se haga 
de modo reflexivo y sistemático ya que condiciona la selección de unos u otros 
indicadores. Los objetivos de la evaluación se han de especificar para dejar 
claro qué es lo que se desea valorar en cada área. 

+ Segundo. Desarrollar un sistema de indicadores, en la medida de lo posible 
informatizado, y especificar la información necesaria para dar respuesta a los 
objetivos de evaluación. En ocasiones el significado de un indicador es claro, en 
otras conviene elaborar una definición que delimite con precisión su significado 
y no se preste a distintas interpretaciones. 

e Tercero. Determinar las fuentes que se utilizarán para obtener la información 
sobre los indicadores. Estas fuentes suelen ser soportes documentales que el 
mismo proceso de formación produce (documentos de solicitudes, registros de 
funcionamiento, documentos contables, fichas de formación, etc.) o pueden ser 
elaborados “ad hoc” para la evaluación (informe de los coordinadores, informes 
de evaluación de los docentes, cuestionarios, etc.). 

e Cuarto. Especificar el proceso de obtención de la información, sobre todo en lo 
que se refiere a la persona responsable de obtenerla y al momento que debe 
estar a disposición del equipo de evaluación. 

e Quinto. Determinar cómo se interpretarán los resultados y cómo debe 
presentarse un informe o informes diferentes según las audiencias. En la 
interpretación es posible hacer dos tipos de juicios comparativos. Comparar las 
acciones entre sí y compararlas con períodos anteriores. En el primer caso, son 
juicios que aportan valoraciones relativas entre acciones y, en el segundo, se 
valora la marcha y tendencia con relación a los aspectos que se determinen (tipo 
de formación, personal formado, etc.) de los planes, programas o acciones 
particulares de formación. 


Cuadro 4.5. Esquema para relacionar los componentes de la evaluación. 
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Una práctica útil es el uso de tablas resúmenes parea reflejar el trabajo de las 
distintas fases de la evaluación. A título ilustrativo se presentan en los cuadros 4.5 y 4.6 
algunas de estas tablas. 

A continuación se describen las orientaciones fundamentales que guían la evaluación 
de las cuatro áreas de gestión que se han propuesto: valoración de la cobertura, 
valoración de los esfuerzos y funcionamiento, valoración de la productividad y valoración 
financiera. 


4.5.1. Valoración de la cobertura de la formación 


La finalidad del análisis de la cobertura de la formación es conocer y valorar cómo 
llega a sus potenciales usuarios. Proporciona información sobre el volumen y perfil de los 
usuarios de las actividades formativas. Su propósito es valorar la eficacia de la formación 
para llegar a su población objeto, identificando si se producen sesgos o desviaciones y sl 
los procesos de acceso/selección de los participantes que se utilizan son eficientes y 
adecuados. Los aspectos que se han de valorar se refieren a indicadores sobre el 
volumen de usuarios atendidos, sus características, y la eficacia de la cobertura respecto 
a su población objeto. En el cuadro 4.7 se presenta un listado de posibles indicadores 
para valorar la cobertura, indicando su pertinencia en el caso de valorar programas de 
formación o planes de formación. 

El análisis del perfil de los usuarios que reciben la formación permite identificar 
problemas relativos a la existencia en las actividades de formación de: 


—  Sobrecobertura: además de la población objeto se atiende a otra población, lo 
que puede encarecer las actividades de formación o limitar su eficacia para su 
población objeto. 

—  Infracobertura: se atiende a la población objeto pero no en número suficiente o 
en número previsto. 

— Desviación de la cobertura: participan personas que no son de la población 
objeto; lo que puede limitar las posibilidades de asistencia de personas que 
pertenecen a la población objeto. 


4.3.2. Valoración de los esfuerzos y funcionamiento 


En este apartado se trata de valorar en qué medida la formación está aplicando los 
recursos humanos y materiales de que dispone de manera adecuada y en los tiempos 
previstos. Deben analizarse los insumos de la formación y describir el funcionamiento de 
las acciones de formación. En el cuadro 4.8 se exponen algunos indicadores que se 
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pueden utilizar en esta área. Para poder emitir un juicio de valor sobre los datos que se 
recogen debe contarse con algún referente, sea absoluto (estándar al que se desea llegar) 
o comparativo respecto a otras organizaciones o períodos temporales. Para que sea útil el 
seguimiento de la formación es necesario determinar previamente los objetivos que se 
pretenden en su funcionamiento y en los recursos humanos y materiales que se le 
dedicarán; sólo así se puede contar con unos referentes para que el análisis sea de 
naturaleza evaluativa y no un informe enumerativo o listado de acciones realizadas. 


Cuadro 4.7. Relación de indicadores para una valoración de la cobertura. 


ANÁLISIS DE LA COBERTURA PROGRAMAS PLANES 
e Volumen 
-  n.* de formados + + 
-  n.* de formados por período temporal (meses, 
trimestres...) + 
-  n.? de formados por actividad formativa + 
-  n.* de formados por departamento, . 
unidades, secciones, servicios + + 


e Perfil de los formados 
-  n.* de alumnado por sexo, edad, categoría 
profesional, etc. + - 


e Incidencia y eficacia de la cobertura 

- efectivos formado/efectivos por formar (masa 

crítica) por tipo de formación, por actividades 

de formación + 
- efectivos formados por período! n.? de efectivos 

que necesitan la formación en el mismo 

período - 
- índice de desviación de la cobertura: personas 

formadas que no pertenecen a la población 

objeto: n.? de personas formadas que no 

necesitan formación y que han sido formadas 

/efectivos de formados + + 
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Cuadro 4.8. Relación de indicadores para una evaluación del esfuerzo. 
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Eficiencia: 
- Índice de realización de las actividades 


previstas 

- índice de realización de las actividades 
previstas en el tiempo oportuno 

- duración media de la espera de solicitudes para 
participar en acciones de formación 

- demandas resueltas por período/demandas 
recibidas por período 

- demandas recibidas y no resueltas hace más de un 
año/demandas recibidas y resueltas hasta la fecha 

- modalidades de acciones/acciones totales 


Interés por la formación: 

- número de horas de formación por número de horas 
de trabajo (por categoría profesional, colectivos, etc.) 

- actividades propuestas por iniciativa de potenciales 
usuarios/actividades realizadas 

- índices sobre niveles de satisfacción de los usuarios 
(por categoría profesional, tipo de formación, etc.) 

- fluctuaciones en las demandas de formación: 
demandas de formación/demandas recibidas en el 
período anterior; demandas recibidas en un 
período/demandas en el mismo período anterior 

- tasa de recurrencia: personas con más de una 
acción de formación/total de personas atendidas 


Recursos humanos: 

personal interno dedicado a formación/personal total 
personal interno/personal total dedicado a formación 
personal externo/personal total dedicado a formación 
personal a tiempo completo/personal ocasional 


Índices de ocupación de equipamientos: 
- horas (días) de ocupación/hhoras potenciales 
- el anterior puede analizarse por tipo de actividades 
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4.3.3. Valoración de la productividad 


El análisis valorativo de la productividad se orienta a la búsqueda de indicadores e 
índices que posibiliten relacionar productos obtenidos (horas de formación realizadas, 
personas formadas, etc.) con los recursos movilizados. Se expresan mediante indicadores 
directos (por ejemplo, horas de formación realizadas) y fundamentalmente por índices de 
relación como, por ejemplo, actividades realizadas por dinero invertido, horas de 
formación por profesionales internos, etc. Se trata de valorar la productividad técnica de 
las acciones de formación tomando en cuenta el personal dedicado, los medios 
empleados y los recursos asignados. En el cuadro 4.9 se expone un listado de indicadores 
posibles para valorar este aspecto. 


Cuadro 4.9. Relación de indicadores para una valoración de la productividad. 


e Productividad económica: 


— coste total/personas formadas + + 
- coste por grupo de usuarios/as + 
- coste de una hora de formación + 
- coste por modalidad de formación + 
e Productividad formativa: 

- acciones realizadas/personas formadas + 
- horas de formación/personas formadas + 
- período de tiempo de formación/ 

personas formadas + 
- personal (interno, externo)/personas 

formadas + + 
- días (horas) de formación/personal + 
- acciones realizadas por período de tiempo + 


Como en los otros tipos de evaluación, también aquí una clara especificación de los 
productos que se pretenden alcanzar en el sistema de formación constituye la clave para 
decidir cuál es la información relevante que hay que recopilar y los indicadores que 
orientarán el análisis. Es importante precisar que cuando se valora la productividad de la 
formación no se trata de recoger datos de las actividades realizadas, sino más bien sobre 
los outputs de esas actividades; así, como productos de la formación se podrían distinguir 
dos: en primer lugar, las personas formadas y, en segundo lugar, las horas o el tiempo de 
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formación. 


4.3.4. Valoración financiera 


En esta área se incluyen aspectos de costes, que también pueden reflejarse en la 
productividad, la estructura y evolución de los gastos de formación y la capacidad del 
sistema de formación para generar recursos externos. En el cuadro 4.10 se exponen los 
indicadores más comunes para analizar la formación desde una perspectiva financiera. 


Cuadro 4.10. Relación de indicadores para una valoración financiera. 


e Coste de la formación: 


- presupuesto global de formación + 
-  % del presupuesto de formación relacionado 
con la masa salarial afectada + 


- % del presupuesto de formación relacionado 
con la masa salarial afectada 

- coste total/coste previsto 

-  coste/persona formada - 
- coste total/día de formación 
- coste total/hora de formación - 
- coste realizado por programa/coste total 
- coste realizado por programa/coste 


+ 
++++++ 


previsto por programa + 
e Financiación de la formación: 
- horas de formación subvencionadas + 
- acciones de formación subvencionadas + 
- coste alumno subvencionado + 
- gastos de formación cubiertos por subvención + + 


E 


117 


5 


La evaluación de resultados 


La evaluación es un elemento intrínseco a la acción sistemática e intencional y, en 
consecuencia, si se ha tenido alguna pretensión resulta coherente preguntarse por el 
resultado de la misma. Sin duda todos los tipos de evaluación son importantes, pero la 
evaluación de resultados constituye el centro de interés clave, si bien no siempre es 
posible plantearla. Una política de formación, unos planes, unos programas y unas 
sesiones específicas de formación buscan unas consecuencias determinadas y, con 
independencia de otros análisis de evaluación que se hayan hecho, es normal la 
preocupación por conocer los efectos conseguidos con tales acciones formativas. 

Si bien se utiliza el término de “resultados”, en realidad se debe hablar de “efectos 
de la formación”, puesto que se trata de determinar tanto los resultados en los objetivos 
pretendidos como cualquier otro efecto no esperado. Se pretende una evaluación global y 
comprensiva que atienda tanto a los resultados deseados como a los no esperados, los 
cuales, incluso, a veces superan y pueden ser más importantes que los mismos 
pretendidos. Estos resultados no esperados, también denominados “efectos indirectos”, 
son difíciles de prever y a menudo de descubrir; pero es importante analizarlos con 
detenimiento para determinar si tienen consecuencias positivas o negativas para las 
personas u organización. Estas dos perspectivas de los resultados de la formación no son 
contrapuestas sino, al contrario, complementarias, y posibilitan una evaluación más 
comprensiva. 

En este capítulo se aborda en primer lugar la viabilidad de una evaluación de 
resultados. Es decir, previo a la evaluación es necesario determinar en qué medida se dan 
una serie de condiciones en el programa, respecto a su formulación y ejecución, que 
posibilitan plantear la evaluación de sus resultados, al mismo tiempo que prever barreras 
iniciales o que pueden surgir durante la evaluación, sean de naturaleza técnica o política. 
Posteriormente, la exposición se centra en los tres niveles de resultados que cabe esperar 
de un sistema de formación y que se identifican con los términos de evaluación de la 
eficacia, evaluación de la efectividad y evaluación del impacto. En la evaluación de la 
eficacia se exponen los planteamientos actuales sobre la evaluación de los aprendizajes, 
donde docentes y participantes son los protagonistas principales. En la evaluación de la 
efectividad el centro de interés son los cambios que se esperan en los lugares de trabajo 
como efecto de las actividades formativas realizadas. La evaluación del impacto de la 
formación implica un proceso de análisis más complejo que los anteriores pero no por 
ello se debe renunciar a conocer los efectos de la formación en las metas y cultura de la 
organización. Por último, se abordan los planteamientos generales que guían los análisis 
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de rentabilidad de la formación, en los cuales se ponen en relación los resultados 
obtenidos con los costes efectuados. 


5.1. Valoración de la evaluabilidad: ¿es posible llevar a cabo la evaluación 
de resultados? 


De todos los tipos de evaluación, la evaluación de resultados es posiblemente la que 
más preocupa y también, con frecuencia, la más compleja y la que requiere más 
recursos. Pero un requisito básico antes de iniciarla es responder a cuestiones sobre el 
grado en que el programa o acción formativa es evaluable. Un análisis de la 
evaluabilidad es un intento sistemático por describir lo que se pretende evaluar, analizar 
la plausibilidad y susceptibilidad de ser evaluado e identificar las barreras y las 
limitaciones que pueden surgir en su evaluación. La valoración de la evaluabilidad la 
describió por primera vez Joseph Wholey (1979) intentando dar respuesta a los 
problemas que se presentaban en muchas evaluaciones donde una vez iniciadas se ponía 
de manifiesto la inutilidad o dificultades de las mismas. Ciertamente, poco se puede 
avanzar en evaluación cuando lo que se trata de evaluar es una actividad o un programa 
formativo pobremente definido, con metas y objetivos formulados de forma muy vaga, 
cuando existen serias dudas de que el programa realizado se asemeja muy poco al que en 
un principio se planificó, cuando existen diferentes concepciones sobre el programa y 
maneras muy distintas de describir lo que se pretende conseguir, cuando se plantean unas 
finalidades eva-luativas sin considerar las limitaciones metodológicas y técnicas que se 
encontrarán, etc. 

En el inicio del capítulo 2 de esta obra se describieron aquellas condiciones que 
deberían observarse antes de iniciar una evaluación formal. Se aludía en aquella ocasión 
a la viabilidad conceptual, metodológica, política y financiera de la evaluación. Cuando se 
trata de evaluar los resultados de un programa o acción formativa el análisis de la 
plausibilidad de la evaluación se convierte en un tema crucial; es decir, como un 
prerrequisito o etapa inicial de una evaluación eficaz. Se destacan principalmente los 
siguientes méritos de una valoración de la evaluabilidad: 


— No quedar atrapados por los objetivos del programa, analizando desde el 
principio el vacío entre la retórica y los objetivos reales del programa. 

— Atender a las discrepancias entre las operaciones pretendidas y las reales del 
programa. 

— Procurar que los pocos recursos que se disponen para la evaluación de 
resultados sean aplicables a objetivos importantes y sobre los que se pueden 
recoger información. 


Una evaluación de resultados se presenta más o menos fácil o posible de realizar en 
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la medida en que el objeto de evaluación presente unas condiciones que lo hagan 
evaluable. El análisis de la viabilidad de una evaluación requiere que se examinen los 
aspectos que se exponen a continuación, a fin de precisar si merece la pena evaluar y, en 
caso afirmativo, el alcance de la evaluación. 


a) La calidad del diseño y la planificación de la actividad o programa formativo que 
se pretende evaluar 


Una evaluación de resultados exige la existencia de un programa o actividad bien 
definido cuya estructuración permita una adecuada realización, puesto que los resultados 
de una evaluación deben siempre referirse a una intervención identificable. Una 
evaluación efectiva requiere unos objetivos claramente definidos a fin de desarrollar 
criterios pertinentes de evaluación de resultados; unos objetivos o efectos que se 
pretenden alcanzar vagamente definidos no proporcionan suficiente base para decidir qué 
tipo de información recoger y determinar si ello es posible. 

Las cuestiones básicas a contestar sobre este aspecto se refieren al nivel en que el 
programa está suficientemente estructurado y definido de modo que haga posible su 
evaluación; a saber: 


— Metas y objetivos formulados sin ambigúedad. 

— Consistencia teórica o plausibilidad de las relaciones causales supuestas entre los 
objetivos, las actividades y metodologías desarrolladas para conseguirlos y los 
resultados que se pretenden alcanzar. 

— Definición de sus componentes (actividades, temporalización, personal, etc.) con 
estructuración suficiente para garantizar una correcta implementación y 
ejecución. 


b) Nivel de implementación adecuado del programa 


Se refiere a la necesidad de que el programa se haya implementado de una forma 
representativa, por lo que se refiere a lo previsto en su planificación teórica y por el 
tiempo suficiente transcurrido como para obtener indicadores de evaluación de resultados 
válidos. Inevitablemente en muchas ocasiones, sobre todo con programas realizados en 
diferentes contextos o de larga duración, existen factores que dificultan la realización del 
programa tal como se diseñó. Por tanto es necesario, para valorar la viabilidad de una 
evaluación de resultados o, al menos, poder interpretar adecuadamente la atribución de 
los resultados, recoger datos sobre cómo se ha implementado y cómo se ha desarrollado 
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el programa. 

Así, será necesario examinar los siguientes aspectos para valorar la viabilidad de una 
evaluación de resultados desde la perspectiva de la implementación y realización del 
programa: 


— Eficacia de la implementación. 

— Nivel de implementación del programa. 

— Razones de las desviaciones del programa que se realiza con el previsto en el 
diseño. 


c) Las posibilidades metodológicas de la evaluación 


El análisis de la evaluabilidad se centra aquí en determinar las posibilidades de 
utilizar procedimientos suficientemente rigurosos para valorar los efectos de un 
programa. Es decir, grado en que es posible asegurar las condiciones científico-técnicas 
necesarias para concluir que los resultados obtenidos son debidos al programa o actividad 
formativa que se evalúa y no a otras causas o combinaciones de causas. Á veces, 
cuestiones legales afectan directamente a las posibilidades de utilizar un determinado 
diseño de evaluación (por ejemplo, el distribuir al azar entre los grupos a las personas que 
participan en la formación, etc.) y de usar determinados sistemas de recogida de 
información (por ejemplo, derechos legales de los usuarios de los programas respecto a 
su libertad en dar o no información, etc.). En otras ocasiones, son limitaciones propias 
inherentes a lo que se pretende evaluar (por ejemplo, dificultades técnicas para obtener 
medidas válidas y fiables de los indicadores de resultados). Y, también, otras veces las 
limitaciones metodológicas son de tipo financiero en la medida en que supone contar con 
medios y recursos materiales y humanos para realizarla correctamente. 

Las cuestiones clave para analizar la viabilidad de la evaluación de resultados desde 
la plausibilidad de las exigencias metodológicas, se refieren a los siguientes aspectos: 


— Posibilidades técnicas de utilizar un diseño evaluativo adecuado a los objetivos 
de la evaluación. 

— Garantías sobre la validez y fiabilidad de los procedimientos de recogida de 
información. 

— Restricciones y limitaciones financieras. 


d) El nivel de aceptación y consenso sobre la evaluación 
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Esta cuarta condición se relaciona con la ya descrita en el capítulo 2 referente a la 
viabilidad política de la evaluación, pero aquí se insiste por su relevancia en el momento 
de plantear una evaluación de resultados. Se debe examinar si existen posturas 
encontradas respecto a la evaluación entre las personas implicadas e intentar obtener la 
cooperación de todos; pueden existir distintos puntos de vista sobre la finalidad de la 
evaluación, haber conflictos de competencias entre diferentes niveles de gestión o 
administrativos, diferencias de opinión sobre las audiencias que tendrían derecho a recibir 
información, etc. En ocasiones es preferible no iniciar una evaluación si su planteamiento 
ha creado un conflicto político que perjudica más que beneficia a la evaluación y, por 
extensión, a la misma formación que se evalúa. Los conflictos de intereses a veces son 
inevitables en evaluación y el problema no radica en cómo evitarlos sino en cómo 
manejarlos para que ésta sea una actividad fructífera. 

Las cuestiones básicas que deben responderse a fin de prever las posibilidades 
políticas de la evaluación se refieren a los siguientes aspectos: 


— Posibilidades de establecer un plan de evaluación consensuado entre las partes 
interesadas. 

— Garantías sobre la independencia del equipo evaluador respecto a los intereses 
de la organización o personal del programa, de modo que asegure una 
actuación imparcial y objetiva. 


El análisis de la evaluabilidad supone un examen de estos cuatro factores descritos 
en un tiempo relativamente corto a fin de decidir si emprender o no la evaluación de 
resultados. Este examen sigue un proceso que supone: 


— Analizar la documentación que hay sobre la planificación, objetivos, actividades, 
etc., del programa o actividad formativa a fin de obtener el programa retórico 
según los papeles. 

— Observación directa de cómo está funcionando el programa (caso de que aún 
funcione) a fin de obtener la imagen del programa real. 

—  Entrevistar a personas clave del programa: directores, coordinadores, 
profesionales, usuarios, etc. 


Sin pretender ser exhaustivo, el cuadro 5.1 expone un listado de las cuestiones que 
deben responderse como resultado de este análisis sobre la evaluabilidad. Al final del 
proceso, el evaluador o equipo de evaluación deberá adoptar la decisión de evaluar o no 
atendiendo a cómo se presentan aquellos factores que hacen viable o no la evaluación. 
En caso de que la respuesta sea negativa, el informe del evaluador debe explicar las 
razones de las mismas. La valoración de la evaluabilidad puede ser muy útil para los 
responsables de formación aunque la evaluación no se realice, puesto que informa sobre 
aspectos relevantes como son los siguientes: 
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Programas pobremente definidos que requieren una mayor elaboración para 
facilitar su implementación. 

Fallos en la implementación en la medida en que no se adecúa a la forma 
planificada. 

Objetivos excesivamente vagos que proporcionan poca base en el momento de 
pedir responsabilidades. 

Objetivos o metas del programa que, aun estando bien especificadas, no fueron 
asumidas por el personal del programa. 

Efectos no pretendidos o colaterales, sean positivos o negativos, que ha 
producido el programa. 

Percepción diferente entre gestores, personal y usuarios del programa sobre el 
significado del mismo y las prioridades de la evaluación. 


En la actualidad, la práctica de la valoración de la evaluabilidad ha hecho patente que 
sus resultados van más allá de los inicialmente atribuidos. Uno de los cambios 
importantes de la nueva concepción de la evaluabilidad es entenderla como un poderoso 
instrumento en todo el proceso formativo: en la planificación para diseñar programas 
plausibles y en la implementación para asegurar la viabilidad de la evaluación de 
resultados. El lector interesado en profundizar sobre este tema puede consultar el 
excelente trabajo de Smith (1989) sobre este particular. 


Cuadro 5.1. Valoración de la evaluabi lidad. 
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CALIDAD DEL DISEÑO Y PLANIFICACIÓN 
DEL PROGRAMA 


e Las metas y los objetivos están claramente 
formulados, o al menos puede hacerse 


Las actividades están suficientemente 
descritas para asegurar su realización 


e Las funciones del personal están bien 
definidas 


e  Latemporalización y los recursos están 
suficientemente descritos como para 
asegurar su implementación 


e Eslógica la relación entre los resultados 
que se pretenden alcanzar y el modelo 
teórico de formación que se ha definido 


NIVEL DE IMPLEMENTACIÓN 
DEL PROGRAMA 


e  Noson significativas las diferencias entre 
el programa que se realiza y el diseñado 

+ Las desviaciones respecto a la planificación 
prevista tienen razones justificadas 

+ Las metas y objetivos del personal y 


profesionales del programa son coincidentes 
con las que se pretenden en el programa 


124 


POSIBILIDADES METODOLÓGICAS 


e Diseños evaluativos que pueden aplicarse 
(especificar) 


e Se puede identificar evidencias aceptables 
del logro de los objetivos 


e Los procedimientos para recoger información 
(instrumentos, personal, fuentes, etc.) pueden usarse 
con garantías de fiabilidad y validez 


e Hay previsto un presupuesto suficiente 
para la evaluación 


NIVEL DE ACEPTACIÓN Y CONSENSO 
DE LA EVALUACIÓN 


e Existen evidencias de que el plan de 
evaluación es aceptado por el personal 
y personas interesadas 


e Existe en el personal una buena disposición 
para colaborar con la evaluación 


e Existen evidencias para que el evaluador pueda 
mantener un comportamiento totalmente 
neutral respecto a intereses ocultos 


5.2. Niveles de resultados 


En evaluación de resultados de la formación, la propuesta de Donal Kirkpatrick en 
sus clásicos artículos de 1959 de distinguir distintos niveles de resultados goza en la 
actualidad de un total reconocimiento, si bien con algunas diferencias. El autor propuso 
cuatro niveles de resultados que llevan parejos también cuatro finalidades y objetos de 
evaluación diferentes: evaluación de la reacción como primer nivel; la evaluación de los 
objetivos de aprendizaje como segundo; los comportamientos profesionales como 
tercero, y los resultados en la organización como cuarto nivel. 

De los cuatros niveles propuestos por Kirkpatrick, sin duda el primero es el que ha 
dominado en la práctica; se corresponde con el uso habitual de aplicar un cuestionario al 
final de las sesiones de formación. Este tipo de evaluación, como se ha comentado en 
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otro lugar de esta obra (capítulo 3), es útil para el análisis del diseño de unas actividades 
de formación, pero no para valorar sus resultados. La percepción de los participantes 
sobre lo que han aprendido y lo que utilizarán en su puesto de trabajo es una mera 
aproximación -y muy limitada- de los efectos reales de una actividad formativa. En la 
actualidad, aun utilizándose esta evaluación por su enorme sencillez y utilidad para 
apreciar algunos aspectos, es totalmente insuficiente para valorar los resultados de la 
formación. 

Sobre la relación de estos cuatro niveles, Branley (1996) informa -aludiendo a los 
trabajos de Alliger y Janak (1989)- el poco valor predictivo de los resultados de un nivel 
a otro. Esto es, se ha comprobado que una buena reacción y satisfacción con el 
programa no lleva asociado también un buen rendimiento final en los objetivos de 
aprendizaje, ni en los rendimientos profesionales. Igualmente se ha puesto de manifiesto 
una baja asociación entre los aprendizajes adquiridos y los comportamientos 
profesionales (los valores de las correlaciones se sitúan en torno a .13); y entre de estos 
comportamientos y las metas de la organización (los valores de las correlaciones son en 
torno a .19). Estos resultados evidencian la poca validez y fiabilidad de la predicción de 
los resultados de un nivel a partir de los resultados obtenidos en el nivel anterior. 
También ponen de manifiesto que se tratan de niveles independientes y la valoración de 
uno no puede presumir la de otros. 

En el cuadro 5.2 se comparan las propuestas de distintos autores especializados en el 
tema sobre los niveles o tipos de evaluación de resultados o efectos de la formación. 
Como se observa, la posición mayoritaria es no considerar la “evaluación de la reacción” 
como una evaluación de resultados. Con matizaciones entre los autores, se reconocen al 
menos tres niveles de resultado o efectos de la formación relacionados, a su vez, con los 
tres niveles de objetivos de las acciones formativas: los objetivos pedagógicos, los 
objetivos profesionales y las metas de la organización, y las diferencias entre ellos 
parecen ser más terminológicas y de clasificación que sustantivas. 

En consonancia con la posición más generalizada, se distinguen tres niveles de 
resultados que dan lugar a las tres modalidades siguientes de evaluación: 


a) Evaluación de la eficacia o evaluación de los aprendizajes: tiene por finalidad 
valorar los efectos de las acciones formativas sobre los conocimientos, 
actitudes y habilidades de las personas que han participado en ellas. Esta 
evaluación ocurre durante y al final inmediato de las actividades a fin de 
certificar el progreso y los niveles adquiridos por los participantes en los 
objetivos pedagógicos propuestos. 

b) Evaluación de efectividad o la evaluación de los efectos de la formación sobre 
los comportamientos y rendimientos profesionales en el puesto de trabajo. Su 
finalidad es valorar la transferencia a la situación real de los conocimientos 
adquiridos, las habilidades entrenadas y las actitudes desarrolladas, en orden a 
satisfacer las necesidades o problemas profesionales que dieron origen a la 
acción formativa. Esta evaluación se plantea posterior a la actividad formativa, 
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transcurrido un período de tiempo suficiente como para notarse los efectos de 
la puesta en práctica de lo aprendido en las sesiones de formación. 

c) Evaluación del impacto o evaluación de los efectos de la formación sobre la 
organización como un todo, o de una unidad, servicio o departamento. Se 
valora no el resultado de una acción o un programa específico de formación, 
sino el grado en que un conjunto de acciones (planes de formación o 
programas amplios de formación, por ejemplo) contribuyen a alcanzar los 
objetivos y mejorar los procesos de la organización. Temporalmente exige 
tiempo suficiente para que los efectos de planes de formación cristalicen en los 
procesos internos y externos, en los productos y cultura de la organización. 


Cuadro 5.2. Niveles de evaluación de resultados de la formación según autores. 
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En epígrafes siguientes se exponen los planteamientos conceptuales y metodológicos 
que caracterizan a cada una de estas modalidades de evaluación. Como se podrá 
constatar, distintas finalidades de evaluación comportan también objetos y criterios de 
evaluación particulares, al igual que diferentes responsables y audiencias interesadas en 
sus resultados, así como las técnicas de evaluación más apropiadas para obtener 
información. 


5.3. Análisis de la eficacia de la formación. Evaluación de los aprendizajes 


Este primer nivel de evaluación se sitúa en las sesiones de formación y tiene por 
objetivo valorar las adquisiciones de los participantes durante y al final del proceso de 
aprendizaje. La referencia de esta evaluación son los objetivos pedagógicos que orientan 
las sesiones de formación, y la manera de afrontar esta evaluación, como veremos a 
continuación, depende de sus finalidades específicas, de la tipología de objetivos que se 
evalúan y del tipo de juicio y estándar criterial que se desee utilizar. 

Durante estas últimas décadas han evolucionado de forma significativa las 
concepciones sobre la enseñanza y el aprendizaje con evidentes repercusiones para la 
concepción y práctica de la evaluación. Como señala Santos Guerra (1996), evaluar el 
aprendizaje significa entender cómo aprende la persona y si eso que aprende tiene 
alguna relevancia para él. Algunas tendencias básicas que caracterizan los actuales 
planteamientos en evaluación de los aprendizajes se pueden sintetizar en los siguientes 
puntos: 


a) Se ha pasado de una evaluación centrada en los productos a una evaluación 
centrada en los procesos. Es preciso hacer un seguimiento continuado del 
proceso de aprendizaje y, en el caso de las pruebas específicas de aprendizaje, 
asegurarse de que éstas permitan poner de manifiesto de la manera más clara 
posible los mecanismos que el alumnado está poniendo en funcionamiento para 
resolver la tarea. Se potencia la función formadora de la evaluación como 
autorregulación. 

b) Existe un traspaso del control de la evaluación del profesorado al alumnado. 
El agente de la evaluación deja de ser exclusivamente el profesorado y pasan a 
desempeñar un papel fundamental el propio alumnado y sus compañeros y 
compañeras. De tal manera que la evaluación formativa tiene como objetivo un 
traspaso progresivo de la responsabilidad de la evaluación desde el profesor 
hacia el alumnado. Se trata de hacer capaz al alumnado de hacer suyos los 
objetivos del aprendizaje y los criterios que se van a utilizar para evaluarlos, ya 
que esto es imprescindible para planificar su actuación y para manejar 
autónomamente procedimientos de evaluación y corregir los errores que pueda. 

c) Mayor preocupación por cómo el alumnado maneja la información que por 
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conocer cuánta ha acumulado. Lo importante no es almacenar información, 
recordarla y evocarla, sino cómo transferirla a otras situaciones, cómo 
plantearse problemas y encontrar estrategias de solución, cómo saber buscar y 
seleccionar información, o cómo ordenarla e interpretarla. 

d) Las nuevas teorías sobre el aprendizajes y la enseñanza que en mayor o en 
menor medida se procuran recoger en las propuestas metodológicas tienen, 
también, claras implicaciones en la evaluación de los aprendizajes. En el 
cuadro 5.3 se expone una síntesis de las nuevas concepciones pedagógicas y 


sus implicaciones para la evaluación. 


Cuadro 5.3. La evaluación del aprendizaje a la luz de las actuales concepciones sobre 
aprendizaje. 


TEORÍAS DEL APRENDIZAJE 


El conocimiento es algo que se construye. 
El aprendizaje es un proceso de creación de 
significados a partir de la nueva información 
y de los conocimientos previos: es un 
proceso de transformación de las estructuras 
cognitivas del alumnado como consecuencia 
de la incorporación de nuevos 
conocimientos 


Hay variedad en los estilos de aprendizaje, 
la capacidad de atención, la memoria, el 
ritmo de desarrollo y las formas de 
inteligencia 
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IMPLICACIONES PARA LA 
EVALUACIÓN 


1. Promover acciones evaluativas que 
pongan en juego la significatividad 
(funcionalidad) de los nuevos 
aprendizajes 


2. Evitar los modelos memorísticos en 


los que sólo se pone de manifiesto 
la capacidad para reconocer o 
evocar 


3. Promover actividades y tareas de 


evaluación que tengan sentido para 
el alumnado 


l. Promover distintas formas de 
evaluación 


2. Dar oportunidades para revisar y 


repensar 


3. Utilizar procedimientos que 


permitan al alumnado a aprender a 
construir su forma personal de 
aprender, a manejar 
autónomamente procedimientos de 
evaluación y corregir los errores 
que pueda detectar 

1. Promover que el alumnado haga 
suyos los objetivos del aprendizaje 
y los criterios que se van a utilizar 


Las personas tienen una ejecución mejor 
cuando conocen la meta, observan modelos 
y saben los criterios y estándares que se 
tendrán en cuenta 


Se reconoce que el conocimiento y la 
regulación de los propios procesos 
cognitivos son la clave para favorecer la 
capacidad de aprender a aprender. Es 
importante saber manejar su propio proceso 
de aprendizaje 


La motivación, el esfuerzo y la autoestima 
afectan al aprendizaje y la ejecución de la 
persona 


para evaluarlos 


. Proporcionar una amplia gama de 


modelos de ejemplo sobre trabajos 
de los alummos discutir sus 
características 


. Discutir los criterios que se 


utilizarán para juzgar la ejecución 


. Promover la autoevaluación 
. Estimular procesos de coevaluación 


entre el profesor/a y el alumno/a y 
entre éstos entre sí 


. Ofrecer retroalimentación tanto de 


los errores como de los aciertos 


. Hacer tomar conciencia al 


alumnado de lo que ha aprendido 
así como de los procesos que le 
han permitido construir nuevos 
aprendizajes 


. Atribuir los fracasos a razones 


temporales y externas y los éxitos 
a razones internas y perdurables 


. Estimular relaciones entre el 


esfuerzo y los resultados 


. Incorporar de manera natural tareas 


de evaluación durante el proceso 
de enseñanza aprendizaje que 
puedan servir al alumnado para 
tomar conciencia de lo que ha 
aprendido y de las dificultades o 
lagunas que todavía tiene 


5.3.1. Evaluación de los objetivos de aprendizajes 


En evaluación de los aprendizajes lo más difícil es concretar los objetivos 
pedagógicos en términos que permitan conocer el nivel de dominio alcanzado por las 
personas después de las actividades de aprendizaje. Con tal fin se han desarrollado 
distintas propuestas de clasificación de objetivos de aprendizaje (Bloom y col., 1973; 
Mager, 1973; Coll y col., 1992; Romiszowski, 1984), pero, en general, cuando se hace 
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referencia a la formación no reglada se opta por una clasificación sencilla y práctica como 
puede ser la siguiente: 


— Objetivos de conocimiento: pertenecen al dominio del “conocer” y se refieren a 
objetivos que implican el recuerdo de hechos, términos, procesos, métodos, 
estructuras, etc. 

— Objetivos de habilidades: pertenecen al dominio del “saber hacer” y “saber 
estar” y se refieren tanto al dominio de habilidades manuales, como cognitivas 
o sociales. Son objetivos que implican “cómo aplicar” los conocimientos para 
actuar correctamente ante una situación dada, sea motriz, cognitiva O 
relacional. 

= Objetivos de hábitos y actitudes: pertenecen al dominio del “saber ser”, son los 
más complejos de todos y se refieren a las actitudes, valoraciones y hábitos 
que predispone o hace a actuar a la persona de una manera determinada. 


Como toda clasificación, la que se propone sólo pretende servir de orientación en la 
gran variedad y multiplicidad de clases de objetivos. No obstante, se reconoce que en 
ocasiones es difícil clasificar un objetivo en una u otra categoría; precisamente se trata de 
objetivos complejos y de ahí su riqueza. El desarrollo y la amplia aceptación que en la 
actualidad tienen las técnicas de evaluación cualitativas favorecen una evaluación más 
interpretativa e integradora y menos atomista y formalizada que la tradicional sometida a 
un listado de objetivos conductuales. 

El nivel de abstracción o ambigiiedad en la formulación de los objetivos constituye 
uno de los problemas específicos de la evaluación de los aprendizajes. De alguna manera 
hay que concretar los objetivos para que se pueda obtener información sobre el nivel de 
dominio alcanzado por las personas que realizan o han realizado la formación. El 
aprendizaje es un proceso interno a la persona y si se desea saber si ocurre o ha ocurrido, 
ésta debe hacer alguna actividad que lo ponga de manifiesto, normalmente mediante 
acciones que revelan los nuevos conocimientos, las habilidades adquiridas, etc. Cuanto 
más específicos y claros sean los objetivos, con mayor facilidad se puede valorar y 
seleccionar la técnica de evaluación más apropiada. Los “objetivos criteriales” (término 
más actual que intenta superar la atomización a que podían dar lugar los tradicionales 
objetivos denominados conductuales u operativos) cumplen esta función, puesto que 
expresan lo que la persona debe hacer y bajo qué condiciones debe hacerlo para 
demostrar que ha logrado el objetivo. Aun así, el riesgo de parcializar en exceso está 
presente, puesto que no es fácil encontrar la distancia justa entre una programación 
atomista, objetivo por objetivo, que haría perder de vista la unidad del aprendizaje y los 
objetivos formulados de una manera tan general y abstracta que pueden dar lugar a 
interpretaciones distintas. 


5.3.2. Finalidades de la evaluación de los aprendizajes 
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Según la finalidad y el momento en que se plantea la evaluación de los aprendizajes, 
pueden distinguirse tres modalidades de evaluación: inicial o diagnóstica, formativa o de 
proceso y sumativa o final. La distinta naturaleza y características propias de cada 
evaluación se exponen en el cuadro 5.4. 


A. La evaluación diagnóstica o inicial 


La finalidad de la evaluación diagnóstica o inicial es ajustar el punto de partida del 
proceso formativo a los niveles de conocimientos, habilidades y expectativas de los 
participantes. Se trata de prevenir posibles fracasos instructivos por desajustes entre las 
exigencias de los objetivos pedagógicos y preparación inicial y disposición emocional de 
las personas. Se exploran e identifican ciertas características de los participantes a fin de 
elegir la secuencia instructiva que mejor se adapte a sus niveles de conocimiento. 
Cualquier formador experimentado reconoce la efectividad de esta evaluación para el 
desarrollo posterior de las sesiones formativas. Merece la pena que en el primer contacto 
que se tiene con el grupo se indague al menos sobre los aspectos siguientes: 


a) El nivel que posee el grupo sobre los conocimientos y habilidades que son 
prerrequisitos para emprender con éxito los nuevos aprendizajes. “Negociar” 
con el grupo los objetivos que ocuparán mayor atención, por ser los 
importantes o por ser los que presentan mayor dificultad. 

b) Las expectativas y nivel de motivación del grupo sobre la actividad formativa 
para ajustarla a los objetivos inicialmente previstos. 

c) Condiciones sociales o contextúales que pueden afectar el desarrollo normal de 
las sesiones formativas. 


Cuadro 5.4. Modalidades de evaluación de los aprendizajes. 
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FINALIDAD 


OBJETO 


TIEMPO 


TÉCNICAS 


AUDIENCIAS 


DECISIONES 


DIAGNÓSTICA 
-OINICIAL 


Adecuar el proceso ins- 
tructivo a los niveles 
iniciales y expectativas 
de los asistentes 


Prerrequisitos 
Expectativas 


Antes de iniciar los 
aprendizajes 


Procedimientos infor- 
males, o formales si se 
dispone de alguno pre- 
parado 


Profesorado 
Participantes 
Coordinador 


Iniciar la sesión tal 
como se había previsto 
Reestructuar el punto 
de partida 

Facilitar fuentes para la 
adquisición de niveles 
previos necesarios 


FORMATIVA 
- O PROCESUAL 


Asegurar que el proce- 
so de enseñanza apren- 
dizaje se realiza en la 
dirección y ritmo pre- 
tendido 
Retroalimentación para 
el profesorado y para 
los participantes 


Objetivos de aprendi- 
zaje. Énfasis en los pro- 
cesos de adquisición 
Dificultades y proble- 
mas en el aprendizaje 
Adecuación de las 
estrategias de enseñan- 
za (profesorado) y de 
aprendizaje (partici- 
pantes) que se ponen 
en juego 


Durante el proceso de 
enseñanza y aprendi- 
zaje 


Procedimientos infor- 
males 


Participantes 
Profesorado 


Para los participantes: 
confirmar idoneidad o 
reestructurar las estra- 
tegias de aprendizaje 
que utilizan 

Para el profesorado: 
confirmar idoneidad o 
reestructurar las estra- 
tegias de enseñanza 
que utiliza 


SUMATIVA 
O FINAL 


Certifica, acreditar nive- 
les de aprendizajes al- 
canzados 

Calificar 


Nivel final alcanzado 
por los participantes en 
los objetivos pedagógi- 
cos 


Al final del proceso o 
después de períodos 
más o menos amplios 


Fundamentalmente 
procedimientos forma- 
les 


Profesorado 
Participantes 
Coordinador 


Otorgar acreditación de 
niveles adquiridos 


 _— —_ _——_ ____________=-==2Axkí>— RR _— __-_— ze >zm-»mvmm>m=>--+£t£EÉAká4áA-éK€CKdÁA A€E82-%E0 uE5->3E A OE E EA mm Lq OÍ — 


134 


Fuente: F. Cabrera (1993). 


Para llevar a término esta evaluación es necesario, en primer lugar, informar a los 
participantes de los objetivos pedagógicos que orientarán la actividad formativa y su 
relación con los objetivos profesionales últimos que se intentan alcanzar; se presentan de 
forma flexible para ser “negociados” con las necesidades del grupo e, incluso, según la 
modalidad de formación, los objetivos desde su inicio derivan del propio grupo de 
participantes. Posteriormente se utiliza algún mecanismo que permita recoger 
información sobre los niveles previos de conocimientos y habilidades necesarios para 
emprender los nuevos aprendizajes. Se usan desde procedimientos muy formales 
(pruebas escritas, por ejemplo), hasta informales, como provocar una discusión oO 
participación de las personas con cuestiones hechas al grupo; si las cuestiones están bien 
seleccionadas en muy poco tiempo se identifican los conocimientos que predominan en el 
grupo, los errores conceptuales, las confusiones o, al contrario, los aspectos bien 
asimilados e integrados, las habilidades experimentadas, etc. Es un excelente punto de 
partida para cualquier tipo de actividad formativa conocer cómo se sitúa el grupo 
respecto a los objetivos y contenidos que serán objeto de aprendizaje. 

Cuando en una evaluación inicial se ponen de manifiesto lagunas de conocimiento, 
colectivas o individuales, el profesorado debería proporcionar las fuentes de información 
y recursos necesarios para que se subsanen lo antes posible a fin de iniciar los nuevos 
aprendizajes. Si estas lagunas son importantes, probablemente se deberán introducir 
cambios significativos en el programa previsto a fin de ajustar el punto de partida al nivel 
y/o necesidades formativas que expresan los participantes. 


B. La evaluación formativa o de proceso 


La finalidad de la evaluación formativa es el perfeccionamiento del proceso 
formativo durante su desarrollo, tanto por lo que respecta al aprendizaje que realiza el 
alumnado como a las estrategias de enseñanza que utiliza el profesorado. Es decir, su 
propósito es asegurar que el aprendizaje de los participantes ocurre con el ritmo y 
dirección que se pretende, identificar posibles fallos o barreras en el proceso e informar a 
docentes y participantes de las adquisiciones que se están consiguiendo. Los beneficios 
de esta evaluación son tanto para el profesorado como para los participantes, para ambos 
cumplen una función reguladora, de refuerzo positivo y correctora del proceso didáctico 
de enseñanza aprendizaje. 

La evaluación formativa para el profesorado es un instrumento eficaz para 
determinar si se van adquiriendo los objetivos pedagógicos previstos y la reacción del 
grupo ante ellos. Los resultados de esta evaluación le permitirá conocer errores de 
aprendizaje (conocimientos no comprendidos, interpretaciones erróneas, etc.), así como 
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fallos en sus planteamientos didácticos que pueden modificar a fin de optimizar su 
intervención. 

Para los participantes, la evaluación formativa supone una constatación de sus 
avances en los aprendizajes, proporciona información que les sirve para autorregular sus 
estrategias de aprendizaje a fin de conseguir mejores resultados. Un uso eficaz de la 
evaluación formativa es una fuente poderosa de motivación y estímulo para los 
participantes en la medida en que aumenta su confianza y seguridad cuando constatan 
sus avances en el aprendizaje. 

Para realizar una evaluación formativa es necesario, en primer lugar, especificar con 
claridad la secuencia de los objetivos pedagógicos que se pretenden conseguir. 
Posteriormente, preparar una serie de materiales y ejercicios evaluativos para cada 
objetivo o grupo de objetivos. Durante el proceso instructivo se trabajan estos ejercicios 
dentro de un clima abierto y de diálogo. También se debe animar al grupo a expresar sus 
valoraciones y atender sus sugerencias sobre la dinámica y características del proceso 
formativo que se está realizando a fin de introducir a tiempo los cambios y las mejoras 
oportunos. 


C. Evaluación sumativa o final 


La evaluación sumativa se realiza una vez concluida una secuencia o un ciclo de 
formación, de un período más o menos largo, con el propósito de acreditar los niveles 
finales conseguidos por los participantes en los objetivos pedagógicos. Es el tipo de 
evaluación que se utiliza para valorar la eficacia de un proceso de formación. La 
trascendencia y nivel de generalización que se le da a los resultados de esta evaluación 
exige que sus planteamientos se hagan con el máximo rigor metodológico posible. 


5.3.3. Niveles referenciales para valorar los aprendizajes. Evaluación criterial y 
evaluación normativa 


En la evaluación del aprendizaje, como se ha dicho, los criterios referenciales son los 
objetivos pedagógicos previamente establecidos. La cuestión siguiente es preguntar por el 
nivel o grado de dominio que los participantes deberían demostrar en los objetivos para 
calificar los resultados de exitosos o no. Según el referente que se utilice para establecer 
estos niveles, se distinguen dos tipos de evaluación: la normativa y la criterial. 


A. Evaluación normativa 
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Se valora el nivel alcanzado por la persona comparándolo con el nivel que ha 
realizado el grupo. Igual nivel de conocimientos y habilidades puede tener una u otra 
valoración dependiendo del nivel del grupo con el que se le compara. Así, por ejemplo, si 
se valora el nivel de participación de una persona que pertenece a un grupo muy poco 
participativo, puede que aunque su participación no haya sido muy alta, resulte bien 
valorada porque se le compara con las de los otros componentes del grupo. La valoración 
dependerá del nivel del grupo. 

Este tipo de evaluación es útil cuando se trata de seleccionar a personas dentro de un 
grupo ya que ofrece las posiciones relativas entre las personas del grupo. Para utilizar 
esta evaluación es necesario que las condiciones de obtención de información sean 
iguales para todos los participantes que se comparan (iguales instrumentos, instrucciones 
de aplicación y corrección). 


B. Evaluación criterial 


En esta evaluación el referente de comparación es el nivel que se espera alcanzar o 
deseable independientemente del nivel del grupo. Son irrelevantes los niveles alcanzados 
por las otras personas del grupo. Para realizar este tipo de comparación, es importante 
describir con claridad el nivel de dominio que las personas deberían exhibir para 
considerar que han logrado un estado aceptable; exige especificar niveles en los objetivos 
que distingan a las personas que los han conseguido de las que aún no los dominan. 
Continuando con el ejemplo anterior, si se valora el nivel de participación de la persona 
en el grupo, debe especificarse cuáles son los comportamientos que caracterizan una 
buena, media o nula participación; el comportamiento de la persona se valora según estas 
descripciones independientemente de lo que han manifestado sus compañeros y 
compañeras. 

Ambos tipos de evaluación son útiles y no deben concebirse como enfrentados, sino 
conocer las posibilidades de cada uno según los objetivos de la evaluación. La 
interpretación normativa es la adecuada cuando la evaluación fundamentalmente busca 
clasificar a las personas, identificar a las mejores o peores de un grupo, o meramente 
establecer comparaciones entre ellas. La interpretación criterial es la adecuada cuando 
existen unos niveles que se pretenden alcanzar y se necesita saber en qué grado han sido 
alcanzados por los participantes; también cuando interesa identificar qué objetivos han 
sido conseguidos y cuáles no; y cuando se quiere valorar la efectividad de las estrategias 
pedagógicas que se han utilizado en el proceso formativo. Por estas razones, sin duda, la 
evaluación criterial goza en la actualidad de primacía y relevancia frente a la normativa 
en la evaluación de los aprendizajes. 
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5.3.4. Los procedimientos y técnicas en la evaluación de los aprendizajes 


Las pruebas de rendimiento constituyen los procedimientos principales para obtener 
información sobre los conocimientos y habilidades adquiridos en las actividades 
formativas. Junto a las pruebas más clásicas llamadas de “papel y lápiz”, y en la medida 
en que la formación tiende a dar mayor importancia al desarrollo de habilidades y 
actitudes, cada vez se hace más uso de otros procedimientos más dinámicos y 
cualitativos que los tradicionales. El juego de papeles, la simulación, las muestras de 
trabajo, los autoinformes de evaluación, la observación y las escalas de actitudes son 
técnicas que van ocupando un lugar importante en la valoración de la eficacia de la 
formación, tal como se aprecia en el cuadro 5.5, en el que se señala la idoneidad de las 
técnicas según la tipología de objetivos de aprendizaje. 


A. Las pruebas escritas para valorar objetivos de conocimientos 


Las pruebas de rendimiento son técnicas de evaluación que se caracterizan por 
presentar a la persona cuestiones, problemas o situaciones en un momento dado e inferir 
su nivel de conocimientos a partir de las respuestas que pro-porciona. Las clásicas 
pruebas para valorar objetivos de conocimiento son las pruebas objetivas de preguntas 
cerradas y las pruebas de ensayo o pregunta abierta. No se trata de analizar estos dos 
tipos de pruebas como procedimientos enfrentados, como unos más válidos que otros. 
Ambas pruebas son válidas y útiles, si bien para objetivos de evaluación y resultados de 
aprendizaje diferentes, tal como se observa en el cuadro 5.6. Son tipos de pruebas 
complementarias por lo que a objetivos del aprendizaje se refiere; en una, la prueba 
objetiva, se valoran conocimientos puntuales y precisiones diferenciales entre ellos; en la 
otra, la prueba de ensayo, se ponen en juego conocimientos globales y sistemas de 
relaciones entre ellos. En el capítulo 6 se especifican los pasos para la elaboración de 
estos tipos de pruebas, sobre todo se expone con mayor detenimiento el proceso de 
elaboración y análisis de las pruebas objetivas. 


Cuadro 5.5. Procedimientos de evaluación para valorar los aprendizajes. 


OBJETO DÉ VALORACIÓN TÉCNICAS DE EVALUACIÓN 
+ Pruebas orales/escritas de preguntas 
abiertas 
+ Pruebas objetivas 
Conocimientos + Pruebas/ejercicios diagnósticos 


* Pruebas/ejercicios formativos 
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+ Pruebas finales 
+ Pruebas de ejecución o situacionales: 
Simulaciones 
Habilidades Juego de papeles 
Muestras de trabajos 
e Autoinformes de evaluación 
* Observación 


Actitudes ; 
. Escalas de actitudes 


B. Las pruebas de ejecución para evaluar habilidades 


Como pruebas situacionales o de ejecución se entienden una gran variedad de 
técnicas para valorar los aprendizajes que se refieren al desarrollo de habilidades, sean 
cognitivas, motrices o de relaciones sociales. En general, estas técnicas se caracterizan 
por intentar simular lo más posible una situación real que la persona debe afrontar. Puede 
ser una prueba estrictamente de ejecución -como una prueba de mecanografía, utilizar la 
centralita de teléfono, usar una máquina, etc.-; puede referirse a la solución de un caso 
que se le presenta, de realizar un proyecto, un trabajo sobre algún tópico; o puede 
referirse a situaciones simuladas donde la persona debe realizar alguna función -dirigir un 
debate, hacer una exposición sobre un tema, realizar una entrevista, etc.—. En el 
capítulo 6 se detallan los pasos para elaborar este tipo de pruebas. 


Cuadro 5.6. Resumen del valor evaluativo de las pruebas de rendimientos 
COgnOSCITIVOS. 
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PRUEBAS PRUEBAS PRUEBAS 
OBJETIVAS PREGUNTAS  DEENSAYO 
a OLOR (AMPUO. 


Para realizar un diagnóstico inicial +. - - 
Para muestrear adecuadamente los 
contenidos del aprendizaje ++ , - 


e Para valorar conocimientos específicos 
aislados de otras habilidades generales 
de la persona (expresión escrita, dominio 


lingúístico, etc.) ++ + = 
e Para distinguir diferencias precisas 

entre las personas +- - la 
e Para valorar enfoques originales 

a los problemas = 4 33 


e Para valorar el uso del vocabulario y 
razonamiento conceptual propio de 


un área de conocimiento - + ho 
e Para valorar la habilidad de organizar, 

integrar, sintetizar y argumentar - - + 
.  Objetividad en la calificación ++ - - 
e Pueden ser corregidas por cualquier persona ++ - - 
e Calificación muy rápida, incluso automática + - - 
e Fáciles de elaborar - + ++ 
e  Suelaboración requiere entrenamiento +- - - 


Fuente: adaptado de R. L. Thorndike y E. P. Hagen (1989). 


C. Las escalas de actitudes, la observación y los autoinformes 


La actitud como predisposición a actuar y reaccionar de una manera determinada 
constituye un rasgo estable de la persona y, en consecuencia, no es fácil que una persona 
cambie su actitud en poco tiempo, más bien son informaciones que la persona va 
recibiendo y sentimientos que va desarrollando los que posibilitan un cambio actitudinal. 
Frente a la evaluación de la adquisición de conocimientos y habilidades, la valoración del 
cambio de actitudes es más compleja. Sin embargo, el profesorado puede utilizar algún 
tipo de escala de actitudes antes -si es posible- y después de la formación para apreciar 
las actitudes de los participantes y determinar si ha ocurrido algún cambio. Un tipo de 
escala de elaboración asequible es el “diferencial semántico”. Es una escala que permite 
conocer la imagen que las personas tienen sobre algún tópico (hecho, actividad, 
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institución, etc.) y deducir a partir de ella la situación de la persona dentro de un continuo 
de mayor a menor favorabilidad. 

También la observación de los comportamientos de la persona, de las opiniones que 
manifiesta, es un excelente procedimiento para obtener información sobre sus actitudes. 
De la misma manera que los autoinformes o cuestionarios elaborados expresamente para 
que la persona manifieste sus opiniones, hábitos y actitudes. Las orientaciones para 
elaborar, aplicar y analizar los resultados de estos procedimientos (escalas, observación, 
cuestionarios) serán objeto de exposición en el capítulo 6 de esta obra. 


5.3.5. Los actores en la evaluación de los aprendizajes. La autoevaluación de los 
participantes 


El profesorado o monitor/a y los participantes son las personas implicadas 
directamente en la evaluación de los aprendizajes. Son los principales protagonistas de la 
evaluación aunque también el coordinador de la formación debe estar presente con una 
función de apoyo y para asegurar la coherencia de la evaluación con las metas del 
programa. Aunque la evaluación que hace el profesorado sobre el alumnado es 
importante, la autoevaluación de los participantes juega un papel fundamental. El nivel de 
autoeficacia percibido (autoevaluación) por la persona inmediatamente acabada la 
formación es ya importante por sí mismo, pero también puede ser indicador de las 
probabilidades de transferencia de lo aprendido al puesto de trabajo a medio y largo 
plazo. 

Bajo un clima de evaluación adecuado, la valoración que hace la persona adulta 
sobre sus propias adquisiciones si bien es una percepción subjetiva no por ello es menos 
valiosa que la que se obtiene aplicando una prueba. Es más, a menudo es el único tipo de 
evaluación de los aprendizajes que se puede aplicar, y debería hacerse. Para realizar una 
autoevaluación eficaz donde los participantes actúen de forma sincera y responsable, es 
conveniente favorecer la presencia de las tres condiciones siguientes: 


— Clima de evaluación formativa: se necesita crear un clima de diálogo, abierto y 
de colaboración entre todos. Se debe evitar cualquier sentimiento de control, 
de examen o de inspección, planteándose más como una coevaluación que 
como un control. 

=- Conocimiento de los objetivos: es necesario proporcionar un listado de los 
objetivos de aprendizajes que se pretenden alcanzar, cuanto más concretos 
sean mayor será la validez y fiabilidad de las apreciaciones que hagan las 
personas. Este listado se debe proporcionar desde el inicio de la formación a 
fin de que en su transcurso los participantes realicen las anotaciones y 
autoevaluaciones oportunas sobre cada tópico. 

= Participación en la toma de decisiones: es importante que los y las 
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pasticipantes se sientan implicados en el proceso de formación y tengan 
conciencia de que se cuenta con ellos desde el principio; sobre todo en la 
determinación de los objetivos y su importancia, en las estrategias de 
enseñanza y en los criterios de evaluación. 


Conviene elaborar algún dispositivo para que las personas reflejen el nivel de 
dominio alcanzado en los objetivos de aprendizaje, distinguiendo entre el nivel que, según 
su propia percepción, tenían antes de iniciar la formación y el nivel posterior adquirido. 
De esta manera se identifican los objetivos que se consiguieron y en dónde han ocurrido 
los avances o en dónde se ha perdido el tiempo si la situación inicial y posterior es 
similar. Propuestas de instrumentos de autoevaluación que permiten el análisis del 
rendimiento alcanzado de manera cuantitativa y gráfica pueden consultarse en Cabrera 
(1993). 


5.4, Análisis de la efectividad de la formación. Evaluación en el puesto de 
trabajo 


Esta evaluación tiene lugar una vez transcurrido un tiempo ya finalizadas las 
actividades formativas. Puede decirse que la evaluación se realiza “en diferido”. Se trata 
de valorar en qué medida se pone en práctica en la situación de trabajo los conocimientos 
adquiridos y las habilidades desarrolladas en las actividades de formación. El centro de 
interés de esta evaluación es la transferencia al puesto de trabajo de la capacitación 
adquirida en las sesiones formativas. En esta evaluación el referencial por excelencia son 
los objetivos profesionales que se pretendían alcanzar con la formación. 


5.4.1. Finalidad y objeto de evaluación en la transferencia de los aprendizajes 


El objetivo último de esta evaluación es analizar la efectividad de la formación 
realizada. Es decir, estudiar en qué medida las actividades formativas han sido idóneas 
para satisfacer las necesidades o solucionar los problemas profesionales a los que se 
dirigían. En este nivel ya no se trata de conocer si la persona es “capaz de hacer ...”, 
sino si la persona “hace o produce ...” en su puesto de trabajo como resultado de 
transferir aquella capacitación adquirida en las acciones formativas, siempre bajo el 
supuesto de que la transferencia produce la calidad profesional esperada. Una formación 
puede ser eficaz y no ser efectiva; es decir, puede que la persona haya adquirido los 
objetivos del aprendizaje pero, una vez en el puesto de trabajo, no los aplica por distintas 
razones, incluso porque los aprendizajes adquiridos no eran los que necesitaba para 
realizar correctamente el trabajo. 

Esta evaluación se realiza después de un cierto período de tiempo, una vez finalizada 
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la formación e incorporada la persona a su lugar de trabajo. El momento de recoger la 
información dependerá de las características del programa, en algunos casos basta con 
dos o tres semanas y en otros debe esperarse meses después de acabadas las actividades 
formativas. Es necesario respetar el tiempo suficiente para que la persona haya integrado 
las nuevas competencias en su hacer profesional y disponga de las condiciones 
contextúales y de los recursos necesarios para su aplicación. Otra condición importante a 
tener en cuenta para determinar este período es la estabilidad de la incorporación de los 
aprendizajes a los comportamientos profesionales de modo que se hayan integrado en el 
trabajo cotidiano. 

Los tres aspectos siguientes constituyen los centros de interés de la evaluación de la 
efectividad: 


a) Los cambios ocurridos en el puesto de trabajo como efecto de la formación. Se 
trata de valorar básicamente dos aspectos: los comportamientos profesionales y 
los rendimientos profesionales que han resultado afectados en la dirección 
deseada como efecto de la formación. Para poder llevar acabo esta evaluación, 
como se expondrá más adelante, es necesario disponer de una especificación 
clara sobre los comportamientos profesionales que deben ser objeto de 
evaluación. De la misma manera, la valoración de los rendimientos 
profesionales exige que se especifique una relación de indicadores de calidad y 
productividad a utilizar. 

b) Las razones que pueden haber limitado la transferencia de la capacitación 
adquirida. El clima de la organización, en general, y el ambiente de trabajo, en 
particular, constituyen factores decisivos para lograr una formación efectiva o, 
por el contrario, anular los esfuerzos realizados en ella. Según Claude (1990), 
el estudio de las posibles causas que fomentan o entorpecen la transferencia al 
puesto de trabajo requiere que se indague a tres niveles diferentes: el personal, 
el de las relaciones interpersonales y el organizacional. En el cuadro 5.7 se 
expone una síntesis de posibles situaciones que dificultan la aplicación de los 
conocimientos adquiridos al puesto de trabajo. 


Cuadro 5.7. Fuentes de situaciones que no facilitan la transferencia. 


+ Falta de confianza en los aprendizajes 
adquiridos 

* Disposición emocional hacia los 

PERSONA aprendizajes adquiridos 

* Disposición emocional hacia el trabajo 
y hacia la organización 

+ Resistencia al cambio 

* Relaciones con la jerarquía inmediata: 
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— Percepción de la utilidad de la 
formación 


RELACIONES LABORALES — Refuerzo por el uso de lo aprendido 
* Grupo de trabajo: 


— Similitud con las normas del grupo 
— Efectos negativos por el uso de lo 
aprendido 


. Barreras de comunicación inhibitorias 
ORGANIZACIÓN INSTITUCIÓN de conductas 
. Falta de retroalimentación 


Desde la perspectiva de la persona que ha recibido la formación, la efectividad del 
esfuerzo realizado en la formación está en función de su estado de ánimo respecto a la 
organización, de la percepción que tiene de su situación laboral, de su motivación 
intrínseca por poner en práctica lo aprendido o por cambiar sus comportamientos. 
Siempre bajo el supuesto de que la persona haya adquirido los conocimientos y 
habilidades trabajados en las acciones formativas. 

Desde las perspectivas de las relaciones interpersonales destacan las que se tienen 
con la línea jerárquica. La manera como el jefe valore la formación, si cree o no en su 
efectividad, la percepción que tiene sobre su utilidad, etc. son aspectos que 
indudablemente estimularán o no la aplicación de los aprendizajes adquiridos por parte 
del personal a su cargo. Con relación al grupo de trabajo, las adquisiciones conseguidas 
durante la formación tanto más se reforzarán cuanto más correspondan con las normas y 
códigos del grupo de trabajo; en caso contrario pueden tener incluso un efecto negativo: 
la persona se siente marginada por sus compañeros y compañeras por poner en cuestión 
con los nuevos comportamientos las rutinas del grupo. 

Desde la perspectiva de la organización, las estructuras de comunicación, el clima 
general de la organización y los modos de gestión de los recursos humanos son elementos 
también decisivos para estimular o inhibir la práctica de las competencias adquiridas en 
formación. El tipo de refuerzo y retroalimentación que recibe la persona favorece su 
implicación o no en la misión, objetivos y desarrollo de la organización y, en 
consecuencia, sentirse estimulada para contribuir con sus nuevos conocimientos y 
habilidades a la mejora de ésta. 

Los efectos de las situaciones descritas sobre la no-transferencia han de considerarse 
bajo el supuesto de que las actividades formativas (sus objetivos, estrategias, el perfil de 
los participantes, etc.) fueron las adecuadas para conseguir los objetivos profesionales 
que se pretendían satisfacer y, en consecuencia, los problemas de la transferencia 
obedecen a razones externas al sistema de formación. Ahora bien, si durante la 
formación se cometieron importantes fallos que afectan la transferencia de los 
aprendizajes, es iluso buscar razones fuera del propio sistema formativo; como puede 
ser, por ejemplo, un deficiente análisis previo de necesidades, una inadecuación del perfil 
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o selección de los participantes, unos objetivos vagos e imprecisos, un desequilibrio entre 
teoría y práctica, etc. 


c) Las necesidades formativas aún por cubrir. Otro aspecto que debe ser objeto 
de evaluación hace referencia a las necesidades formativas que aún necesitan 
cubrirse. La formación debe contemplarse como un componente integrado en 
la realización humana y profesional de la persona, sobre todo en los momentos 
actuales donde la rapidez de los cambios exige una constante puesta al día en 
capacitación y nivel de empleabilidad del capital humano e intelectual de la 
organización. 


5.4.2. Procedimientos y técnicas de evaluación en la transferencia de los 
aprendizajes 


Los procedimientos de evaluación en este nivel de resultados se basan 
fundamentalmente en la observación, sea directa o indirecta, mediante entrevistas oO 
cuestionarios de las conductas y comportamientos profesionales, y en el análisis de la 
calidad y cantidad del rendimiento o productos resultantes de la actividad profesional 
asociada a la formación. En el cuadro 5.8 se exponen las distintas técnicas evaluativas de 
mayor uso según los objetos de evaluación de la efectividad. En el posterior capítulo 6 se 
abordan los procesos básicos de su elaboración, aplicación e interpretación, aquí sólo se 
refiere a sus posibilidades y límites. 


Cuadro 5.8. Técnicas de evaluación para valorar la efectividad de la formación. 


OBJETO DE VALORACIÓN TÉCNICAS DE EVALUACIÓN 


* Observación directa: protocolo de 
observación: 
— Registros anecdóticos 
— Listas de control 
— Escalas de valoración 
* Autoinformes/cuestionarios a las 
personas formadas 
+ Escalas de actitudes 
+ Entrevistas con las personas formadas 
* Cuestionarios a los jefes/superiores y 
colegas 
+ Entrevistas con los jefes o superiores 
* Análisis de productos 


Comportamientos profesionales 
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— Indicadores de calidad 
— Indicadores de cantidad oO 
productividad 
Rendimientos profesionales * Diagrama de Pareto 
* Autoinformes/Cuestionario a las 
personas formadas 
Razones de la no transferencia + Entrevistas con las personas formadas 
+ Cuestionarios a los jefes/superiores y 
colegas 
+ Entrevistas con los jefes o superiores 
* Grupos de discusión 
* Autoinformes/Cuestionario a las 
personas formadas 
+ Entrevistas con las personas formadas 
Necesidades formativas aún por cubrir + Cuestionarios a los jefes/superiores y 
colegas 
+ Entrevistas con los jefes O superiores 
* Grupos de discusión 


Los procesos de triangulación de la información son importantes en cualquier 
evaluación, pero particularmente en la valoración de los efectos de la formación en el 
puesto de trabajo, dada la complejidad de los comportamientos profesionales que la 
mayoría de las veces es necesario valorar. Se aconseja utilizar diferentes fuentes para 
recoger información sobre ellos (el propio interesado, sus superiores, colegas, etc.), usar 
diferentes técnicas de recogida de datos (entrevistas, observación, autoinformes, etc.) e, 
incluso, podría ser conveniente, en algunos casos, recoger información del mismo 
comportamiento en distintos momentos, sobre todo en aquellos en los que su 
manifestación suele ser inestable. 


A. La observación directa de los comportamientos profesionales: el “protocolo de 
observación” 


La observación directa de los comportamientos profesionales representa la manera 
más exacta de obtener información sobre el nivel de aplicación de las competencias 
adquiridas en las acciones formativas. Consiste en observar a la persona en situación de 
trabajo y registrar la presencia/ausencia o el grado en que pone en práctica los 
conocimientos adquiridos y actúa conforme a las habilidades entrenadas. Para llevar a 
cabo la observación es necesario elaborar un protocolo de observación que servirá de 


146 


pauta para guiar el proceso de obtención de información y registrar las observaciones 
efectuadas. Un “protocolo de observación de comportamientos” comprende como 
mínimo los siguientes aspectos para que sea útil como guía de observación: 


a) 
b) 


c) 
d) 
e) 
Y) 


Tareas o/y comportamientos profesionales que serán objeto de observación 

Sistema de registro de observaciones: los más usuales son los registros 
anecdóticos, las listas de control y las escalas valorativas 

Responsable/s de realizar la observación 

Situación de observación 

Período y temporalización de la observación 

Resultados y valoración global 


En el cuadro 5.9 se expone un modelo de protocolo de observación tomando como 
referencia un trabajo anterior (Cabrera, 1986) sobre la valoración de comportamientos 
profesionales de estudiantes de Enfermería en sus prácticas hospitalarias. 


Cuadro 5.9. Guía de para valorar la “Aptitud, actitud y responsabilidad de los 


estudiantes para el trabajo de Enfermería”. 
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Fuente: Adaptación del estudio realizado por Cabrera (Coord.) (1989) sobre la Valoración de la actitud y aptitud 
de estudiantes de enfermería en prácticas. ICE. Universidad de Barcelona. 


B. Los autoinformes, cuestionarios y entrevistas con las personas formadas 


Son excelentes técnicas evaluativas para recabar información sobre el grado en que 
la persona percibe si le ha sido útil y aplica los aprendizajes adquiridos en la formación. 
El protocolo de estos instrumentos puede presentar una estructura muy abierta, en este 
caso se trataría más de un autoinforme o de una entrevista abierta o semiestructurada; o 
una forma bastante cerrada, organizada en preguntas que la mayoría tienen formato 
cerrado más propio de los cuestionarios. Dado que este tipo de información suele ser 
bastante subjetiva, no por ello deja de ser valiosa, deberían solicitarse algunos ejemplos 
de cómo la persona está aplicando los aprendizajes adquiridos en formación. Las 
cuestiones básicas que interesa preguntar para una evaluación de la efectividad de la 
formación se refieren a las cuatro áreas de contenido que se recogen en el cuadro 5.10. 


C. Análisis de los rendimientos profesionales 


Otra fuente de evaluación importante para valorar la efectividad de la formación es 
el análisis de las producciones o rendimientos resultantes de la actividad profesional. 
Representan datos o medidas objetivas que se pueden usar para analizar los efectos de la 
formación siempre que representen cambios respecto a la situación anterior a ella. Para 
utilizar con objetividad los rendimientos profesionales como indicadores de evaluación 
del cambio profesional, es necesario conocer cuáles eran los niveles previos que exhibían 
las personas antes de la formación para, así, establecer la comparación con los niveles 
post-formación. No obstante, también se puede trabajar con referenciales absolutos, 
estándares de calidad preestablecidos considerados idóneos para la situación que se trate. 
Según Van Wart, Cayer y Cook (1993) el análisis objetivo del rendimiento profesional 
más común comprende tres tipos de datos: indices de precisión, entre los cuales los más 
utilizados son el índice de errores y el índice de revisiones; índices de calidad, que 
incluyen los índices sobre daños en equipamientos, quejas y ahorros en costes; índices 
de productividad, referentes a índices sobre productos acabados con menor coste de 
tiempo, menor coste de recursos, etc. 

Para valorar el rendimiento profesional, se aconseja elaborar un protocolo de 
análisis de producciones o rendimientos para objetivar y orientar el proceso de análisis. 
Los elementos que deben considerarse en este protocolo son los siguientes: 
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Cuadro 5.10. Contenidos para una entrevista con las personas formadas para valorar 
la transferencia de los aprendizajes al puesto de trabajo. 


ÁREAS DE INTERÉS 


Datos de identificación 


Utilidad y aplicación de los aprendizajes 
adquiridos 


Razones del nivel de transferencia 


Satisfacción con la formación recibida 
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CUESTIONES ESPECÍFICAS 


Características personales y 
profesionales que interese analizar por 
su posible relación con los resultados: 
— Personales (edad, sexo, etc.) 
— Profesionales: tiempo en la 
organización, responsabilidad, etc. 
Formación recibida: modalidad, 
expectativas, etc. 
Grado en que la formación ha 
contribuido o está relacionada con 
cambios y mejoras en su trabajo 
Utilidad de los conocimientos y 
habilidades adquiridas (mejor 
presentar un listado) para su trabajo 
Nivel en que aplica los conocimientos 
y habilidades (presentar listado) 
Solicitar ejemplos de aplicación 
Factores que le facilitan la aplicación 
— Personales 
— De relaciones laborales 
— Organizacionales o institucionales 
Factores que le limitan y/o inhiben la 
aplicación 
— Personales 
— De relaciones laborales 
— Organizacionales o institucionales 
Ajuste de la formación a sus 
expectativas 
Grado de satisfacción con los objetivos 
de la formación recibida 
Lagunas de conocimientos/habilidades 
aún por satisfacer 
Grado de satisfacción con los niveles 
de aprendizaje adquiridos (rendimiento 
personal) y con los materiales para 
continuar autoformándose 


* Cambios en la estructura formativa 
para mejorar su efectividad 


a) Las tareas o comportamientos profesionales. Se han de especificar los asociados 
al rendimiento que se analiza. 

b) Nivel o estándar de calidad que se espera obtener en cada una de las 
realizaciones que serán analizadas, sea con referencia a niveles o medidas 
anteriores, si se dispone de ellas, o sea en términos absolutos. 

c) Las unidades de análisis. Se especifican los tipos de documentos, producto o 
servicio que serán objeto de análisis para valorar el rendimiento de la persona 
en la tarea que se trate. 

d) Las categorías de análisis. Determinando los aspectos o características 
específicas que se tendrán en cuenta en el análisis. En la medida de lo posible 
conviene obtener algún índice que relativice los datos directos. 

e) Los resultados del análisis. Se distingue entre los niveles alcanzados por la 
persona y la interpretación valorativa que se hace de los mismos, así como 
propuestas o sugerencia de acción futura en orden a mejorar las realizaciones o 
producciones analizadas. 


En el cuadro 5.11 se expone un ejemplo de protocolo de análisis de producto 
aplicado a la evaluación del rendimiento de secretarios/as después de un programa básico 
de formación (se ha tomado como referente el modelo de programa de formación para 
secretarias-recepcionistas expuesto por Romiszowski, 1984). 


D. La entrevista y el cuestionario con superiores y colegas 


Constituyen otras técnicas evaluativas y fuentes de información importantes en 
evaluación de los comportamientos profesionales. Los subordinados, los superiores o los 
mismos colegas pueden responder a cuestionarios cerrados o ser objeto de una entrevista 
para conocer sus percepciones y opiniones sobre los resultados de la formación en el 
trabajo de la persona formada. Son técnicas fundamentales para evaluar los resultados de 
programas formativos relacionados con el desarrollo de habilidades personales e 
interpersonales, las cuales son muy difíciles de cuantificar en índices de rendimiento y se 
prestan a una gran subjetividad valorativa por parte de la persona formada. La evaluación 
se debe realizar con mucha cautela y respeto a la persona, de plantearse como una 
coevaluación en la que impere el diálogo y la confianza entre todas las partes, evitándose 
situaciones de recelos e inseguridades personales. En el cuadro 5.12 se presentan las 
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áreas de interés y los aspectos que pueden pre-guntarse para conocer la opinión de jefes 
y colegas sobre los cambios ocurridos en los comportamientos y rendimientos 
profesionales de las personas que han recibido la formación. 


Cuadro 5.11. Ejemplo de “protocolo de análisis de rendimiento” (evaluación de un 
programa de formación para secretarios/as). 
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Cuadro 5.12. Areas de contenido para elaborar cuestionarios/entrevistas con la línea 
jerárquica o colegas. 


ÁREAS DE INTERÉS CUESTIONES ESPECÍFICAS 


Ante el listado de conductas 
profesionales que se le presenta 
indicar: 

* Oportunidades de aplicación 

+ Nivel de aplicación anterior a la 
formación 

+ Nivel de aplicación posterior 

* Razones de la no-aplicación 


Aplicación de los aprendizajes adquiridos 


+ Expectativas sobre la formación 

+ Seguimiento de la persona formada 

+ Ayudas o refuerzos que se le ha 
procurado 

+ Aceptación/resistencia del grupo/jefe a 
los cambios que suponen las nuevas 
conductas 

+ Ajuste de las nuevas conductas a los 
“códigos de incentivos” y normas que 
imperan en el grupo/departamento 


Contribución a la transferencia 


* Lagunas de conocimientos/habilidades 
aún por satisfacer 
Necesidades formativas * Grado de satisfacción con los niveles 
de aprendizaje que la persona ha 
adquirido en la formación 


Se debe proporcionar un listado de todas aquellas conductas profesionales que 
debería exhibir la persona como efecto de la formación recibida. Cuanto más detallado 
sea este repertorio de conducta mayor objetividad se conseguirá en el análisis de los 
cambios en el trabajo. 


E. Otros procedimientos: las escalas de actitudes y los grupos de discusión 


Son también procedimientos valiosos para obtener información sobre cambios de 
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actitudes, percepciones y puntos de vista sobre algún aspecto en particular. En el caso de 
las escalas, dada la enorme amplitud de temas u objeto de actitud que en teoría interesa 
conocer en una organización, lo más probable es que se necesite construir una “ad hoc”; 
algunos procedimientos sencillos y asequibles para personas no especializadas en 
psicometría se exponen en el capítulo dedicado a las técnicas de evaluación (capítulo 6). 

Los grupos de discusión son conversaciones grupales cuidadosamente planeadas con 
el fin de tratar algún tema en particular. Son procedimientos sencillos y económicos de 
aplicar para recoger información fundamentalmente sobre aspectos relativos a los 
problemas de la transferencia al puesto de trabajo de la formación recibida. También se 
abordarán en capítulo posterior los principios básicos que orientan la planificación, 
aplicación y análisis de esta técnica. 


5.4.3. Los actores en la evaluación de la efectividad de la formación 


La evaluación de la transferencia al puesto de trabajo se debe entender 
eminentemente como una coevaluación donde distintas personas aportan sus perspectivas 
valorativas con objeto de analizar en qué medida la formación realizada ha sido efectiva 
y cuáles son las razones que pueden explicar su total o parcial fracaso. Como señala Le 
Boterf (1991), los problemas más importantes no son los de naturaleza técnica -calidad 
de los procedimientos para recoger la información-, sino de carácter social: la cuestión de 
fondo es: ¿a quién servirán los resultados? Más que nunca, la evaluación debe enfocarse 
como un instrumento que sirve para mejorar la formación que se hace, cuáles son sus 
aciertos, sus omisiones o sus defectos, evitando convertirse en un mecanismo 
sancionador o de “poner en evidencia” a las personas afectadas. El mismo proceso de 
evaluación debe servir para hacer reflexionar a las personas que han recibido la 
formación sobre las razones que le facilitan o le limitan, si no le impiden, la puesta en 
práctica de las capacidades adquiridas; y para sus superiores, la evaluación debe ser un 
excelente medio de análisis, a la vez que instrumento de toma de conciencia y 
responsabilidad sobre su contribución en conseguir una formación más efectiva. En el 
cuadro 5.13 se exponen los papeles que caracterizan a cada uno de los protagonistas que 
intervienen en la evaluación de la efectividad. 


5.5. Evaluación del impacto. Los efectos de la formación en la organización 


Evaluar el impacto de la formación, sin duda, es tarea compleja pero no por ello se 
debe renunciar a plantear el análisis y la valoración de cómo la for-mación contribuye a la 
eficacia y calidad de la organización. Las razones de esta complejidad son las dificultades 
inevitables que surgen cuando se intentan observar los efectos netos de la formación; es 
decir, pretender distinguir los efectos atribuibles a la formación de otros factores que 
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también pueden influir en el cambio de los criterios seleccionados. 


Cuadro 5.13. Funciones de los distintos protagonistas en la evaluación 
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INFORMACIÓN R 


Dirección e Facilitar la evaluación + ++ 


Formación/RRHH 
e Analizar la viabilidad de 
la evaluación + ++ 
Gestor/Coordinador + Planificar y gestionar 
del programa el proceso de evaluación 
e Elaborar informe de 
evaluación 


e Conocimientos y habilidades 
Docentes/monitores que deberían aplicarse como + + 
resultado de su adquisición 
en las sesiones de formación 


e  Coevaluar con coordinador 
y línea jerárquica. 

e Valorar el grado en que aplica 

Personas formadas lo adquirido en la formación 0) ++ 

e identificar las razones que 
justifican que no se aplique 

e Identificar necesidades 
formativas aún por cubrir 


e  Coevaluar con el coordinador 
y personas formadas 
e Valorar el grado en que se 
Línea jerárquica ' están aplicando los 
Colegas conocimientos y habilidades ++ ++ 
e Analizar su contribución y 
la del contexto en la aplicación 
de lo adquirido 
e Identificar lagunas formativas 


, 


En la evaluación del impacto el centro de interés se sitúa en dos marcos referenciales 
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diferentes: uno, de naturaleza más subjetiva, que analiza las opiniones, percepciones y 
apreciaciones del personal; y otro, de carácter más objetivo, que se refiriere a medidas 
representativas de resultados de la organización. Esta distinción corresponde también a 
dos tipos de análisis del impacto: el socioculturaly el económico, respectivamente. El 
análisis de la estructura y funcionamiento socio-organizacional, de las relaciones 
interpersonales, de la imagen interna y externa de la organización, de la cultura y clima 
organizacional, etc. requiere procedimientos de evaluación que proporcionen información 
sobre las personas y sus manifestaciones. En cambio, cuando se analiza el impacto en los 
resultados se adopta una perspectiva más económica y requiere procedimientos de 
evaluación objetivos sobre índices de eficacia y rentabilidad, en su sentido estricto, de la 
formación. 

Así como en los niveles de evaluación expuestos con anterioridad -evaluación de la 
eficacia y evaluación de la efectividad- la unidad de análisis es la persona, lo que aprende 
o lo que hace en su trabajo, en la evaluación del impacto la unidad de análisis es el 
colectivo de personas de la organización, hayan o no recibido formación. El momento de 
realizar esta evaluación es a largo plazo, suficiente para que los referentes criteriales que 
interesan hayan tenido la oportunidad de cambiar en el desarrollo normal de la actividad 
social y profesional de la organización. Los procedimientos y técnicas evaluativas que se 
utilizan no difieren de las que se usan en la evaluación de la efectividad: los cuestionarios, 
entrevistas, grupos de discusión, escalas de actitudes, autoinformes para obtener 
información sobre indicadores subjetivos relativos a las percepciones y sentimientos; y 
medidas objetivas (valores directos, netos, índices, etc.) sobre resultados. 

Una de las clasificaciones de criterios e indicadores de impacto más exhaustiva y 
sistemática es la que ofrecen Barezucchetti y Claude (1995). Estos autores propone 
cuatro categorías de impactos posibles: impacto sobre los parámetros de explotación, 
impacto social, impacto cultural e impacto socio-organizacional; a su vez, cada una de 
estas áreas las subdividen en sub-categorías, tal como se pueden observar en el cuadro 
5.13. Otra clasificación reciente es la adaptación que hace Bramley (1996) de la 
propuesta de Cameron (1980), en la que el impacto de la formación se analiza desde 
cuatro áreas de interés: las metas de la organización -en qué medida la formación 
contribuye a su consecución-, la adquisición de recursos exteriores, las relaciones con el 
exterior -sobre todo con los clientes y fuentes de proveedores- y los procesos internos 
relativos a los flujos de comunicación, satisfacción y clima laboral. 

El cuadro 5.14 recoge las propuestas de distintos autores sobre parámetros que se 
consideran sensibles a la formación y debe entenderse sólo como un repertorio de 
posibles parámetros criteriales. Junto a las aportaciones resumidas de Barzuccetti y 
Claude (1995), la de Cameron (1985) y la Bramley (1996), se expone la propuesta de Le 
Boterf (1991) no como una taxonomía de indicadores de impacto, puesto que tampoco 
es la intención del autor, sino como una manera muy eficaz de reflexionar y analizar el 
impacto de la formación. Según el autor, la transferencia al puesto de trabajo de las 
capacidades y conocimientos adquiridos en la formación se traducen en cambios 
profesionales, los cuales generarán unos modos operativos y unas condiciones de 
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explotación diferentes que, a su vez, producen cambios en los parámetros fisicos de 
explotación. De esta manera, los indicadores de impacto se deducen a modo de una 
cadena casual de los objetivos profesionales que se desean alcanzar con la formación. 


Cuadro 5.14. Criterios e indicadores para valorar el impacto de la formación en la 
empresa u organización según autores. 


S. Barzucchetti y). E Claude (1995) 


A. PARÁMETROS DE EXPLOTACIÓN 

Productividad. Optimización de recursos: retrasos, energía utilizada, materias primas, etc. 

Calidad de los servicios. Calidad del producto y del servicio al cliente: fiabilidad de los productos, calidad de la 
relación, retrasos en los servicios, tratamiento de las quejas, fallos, etc. 

Respeto al medioambiente. Prevenir errores y daños materiales de deshecho, rechazos, reciclados, etc. 

Seguridad de las personas. Prevención de la integridad de las personas y de sus bienes: frecuencia y gravedad de 
los incidentes y accidentes de trabajo. 


B. IMPACTO SOCIO-ORGANIZACIONAL 

Organización formal 
Estructura de la organización: n.” de escalones jerárquicos, n.? de proyectos en grupo, nuevos servicios, etc. 
Configuración de procesos: productividad, retrasos de servicios, retrasos en la producción, etc. Relaciones 
clientes/internas y cooperación entre servicios, unidades, etc., n.* y naturaleza de los proyectos conjuntos, 
índice de satisfacción de clientes internos, etc. 
Formalización y actualización de procedimientos: n.” de procedimientos formalizados, actualizados, verificados, 
etc. 
Acuerdos, niveles, certificaciones obtenidas, etc. 
Circuitos de decisión: retraso medio en las decisiones, distribución de las decisiones, etc. Reparto del trabajo 
polivalente, funcionamiento de los equipos, reparto cargas de trabajo, tasa de rotación del personal. 

Circuitos de información 
Información sobre el medio y contexto de la empresa: volumen y naturaleza de la información. 
Circulación de la información: rapidez, finalidad, pertinencia de la información en circulación, etc. 
Tratamiento informatizado: actualización de ficheros y bancos de datos, n.” de errores, etc. 

Dirección y gestión de las personas 
Estilo de gestión y modo de animación de los servicios, n.” de entrevistas anuales, de reuniones de servicios, 
etc. 
Definición de objetivos y seguimiento: n.* de objetivos formalizados, n.” de objetivos evaluados, etc. 

Cohesión social 
Movilización del personal autónomo, iniciativa: cambios no deseados, absentismos, sugerencias de mejoras, 
etc. 
Ambiente y clima social: satisfacción del personal, nivel de adhesión a los objetivos de la empresa, frecuencia y 
naturaleza de los conflictos sociales. 
Integración de las personas: % de personas situadas en niveles que se consideran aceptables, etc. 

Utilización de equipamientos 
Utilización de material, máquinas, etc.: diversidad de los usuarios, n.? de funciones según los usuarios, n.? de 
defectos o fallos debido a un mal uso, etc. 


C. IMPACTO EN LA CULTURA 


Visión común de la realidad. Proyecto e identidad de la empresa: tasa de adhesión del personal al proyecto de la 
empresa, tasa de satisfacción de la jerarquía, etc. 
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Forma de reaccionar ante los acontecimientos. Estrategias de problemas en el seno de la empresa: n.? de nuevos 
productos, reparto de la inversión a corto, medio y largo plazo, tasa de riesgos, etc. 

Forma de comportamientos con el exterior. Abertura hacia el exterior: tiempo dedicado a los clientes/proveedores 
según categoría del personal, cambios de clientes y proveedores, tasa de reclamaciones, etc. 

Modo de comportamientos internos. Regulación interna: tiempo dedicado por los gestores a encuentros 
formales/informales con el personal, frecuencia de manifestaciones de convivencia, etc. 


D. IMPACTO EN LA SOCIEDAD 

Inserción en el medio. Política de relaciones públicas: frecuencia de relaciones con actores sociales, n.? de 
artículos relativos a la empresa en los medios de comunicación, n.” de jornadas de “puertas abiertas”, visitas 
escolares, etc. Número de reuniones informativas sobre las actividades de la empresa. 

Contribución al desarrollo social. Política de ciudadanía: frecuencia de relaciones con organizaciones locales para 
prácticas profesionales de jóvenes, tiempo dedicado a la formación de jóvenes en prácticas, n.” de tutores, 
ayuda a proyectos locales, etc. 

Desarrollo humano. Política de desarrollo personal: tasa de trabajo a tiempo parcial, de horarios “a la carta”, n.* 
de ayudas a proyectos personales. 


K. Cameron (1980) y P. Bramley (1996) 


A. IMPACTO EN EL LOGRO DE LOS OBJETIVOS 

índices de Cantidad. Unidades producidas. Completación de tareas. Aplicaciones, etc. procesadas. Cambios. 
Servicios realizados en su tiempo. Dinero recogido, etc. 

índices de Calidad. Ratios de defectos/fallos. Ratios de rechazos. Ratios de errores. Accidentes. Desperdicios. 
Derroches. Tiempos, etc. 

Variedad e innovación. Diversidad del rango de productos. Racionalización del rango de productos. Nuevos 
productos/servicios. Innovación. Formación de nuevos empleados, etc. 

Sistemas. Productividad. Sistema de procesos. Ratio de coste/realización. 


B. ADQUISICIÓN DE RECURSOS 

Flexibilidad. Incremento del personal formado. Desarrollo de habilidades para futuros trabajos. Flexibilidad para 
lograr los cambios exigidos por los clientes. Aumento de clientes. Nuevas ramas de productos/servicios 
abiertas. Nuevos mercados. Flexibilidad para cambiar los protocolos de los procedimientos, etc. 


C. RELACIONES SOCIALES 

Expectativas de los grupos de interés. Preocupación por los problemas del cliente. Relaciones con los clientes, 
quejas de los clientes. Material retornado. Reparaciones en garantía. Calidad de los productos y servicios. 
Servicios realizados a su tiempo. Imagen de la compañía. 


D. PROCESOS INTERNOS 

Clima en la organización. Adhesión de las personas a la misión y planes estratégicos de la organización. 

Conciencia de que los esfuerzos son recompensados. Moral en el trabajo. Implicación en el trabajo. Satisfacción en 
el trabajo. Clima de estímulo y motivación por el trabajo. Absentismo. Visitas médicas. Ratios de accidentes. 
Acciones disciplinarias. Excesivos cortes en el trabajo. Quejas de los trabajadores. 


G. le Boterf 1995) 


MODIFICACIÓN DE LOSPARÁMETROS FÍSICOS Y CUENTA DE 
MODOS OPERATIVOS EXPLOTACIÓN 
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* Reducción n.? falsas 


maniobras. 

+ Mejor regulación de las 
condiciones. Mejor supervisión 
de los incidentes. Mejor 
control de calidad de la materia 
prima. 

* Mejor control de los 
procedimientos. Disminución 
de las maniobras falsas. Mejor 
control de la calidad. 

* Mejor organización del taller. 
Mejora de la productividad. 
Mejor control tecnológico. 
Disminución de los costes de 
control. 

+ Simplificación de tareas 
administrativas. Supresión de 
tareas administrativas. Nueva 
distribución de tareas 
administrativas. 

* Mejores objetivos de 
investigación. 

* Aumento de la productividad. 
Mejor organización del 
trabajo. Simplificación de la 
tarea. Mejor gestión de la 
gama de clientes. Disminución 
de deshechos. 


Disminución del consumo de materia prima. 


Disminución del consumo de energía y 
fluidos. 


Disminución del número de reclamaciones y 
devoluciones. 


Disminución de efectivos de producción o 
aumento de la producción del personal. 
Disminución de los costes del personal de 
fabricación y mantenimiento. 


Disminución de la cuota-parte de los gastos 
de administración y de los gastos generales 
de la fábrica. Tiempo dedicado al teléfono. 
Tiempo invertido en el análisis de 
documentos. 

N.? de horas de investigación interna y de 
investigación externa. N.? de patentes. 

Aumento del número de clientes visitados. 
Disminución de los gastos comerciales de 
oficina. Clientes mejor seleccionados. 
Aumento y mejora de la producción 
(cantidad y calidad). Aumento del volumen 
de ventas. 


* Mejor gestión de stocks y . 
mejor circuito de compras. 


Mejora de la gestión de los stocks y del fondo 
de maniobras. 


5.6. Análisis de rentabilidad de la formación 


En evaluación de resultados es inevitable cuestionarse si los costos justifican los 
resultados y efectos conseguidos, es decir, en qué medida las actividades formativas son 
eficientes. En términos de evaluación económica debe distinguirse entre los análisis de 
eficiencia en términos de rentabilidad y los análisis de eficiencia en término de 
productividad de un programa. Ambos toman en consideración los costes efectuados, 
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pero los estudios de rentabilidad se centran en la relación coste-resultados del programa, 
y los de productividad ponen en relación productos o servicios que produce el programa 
con los inputs o recursos empleados (coste por alumno, coste por hora, coste por 
profesor, horas por profesor, etc.). Por esta razón los estudios de productividad se han 
tratado en el capítulo 6 de esta obra, en el punto dedicado a la monitorización y 
seguimiento de la gestión de la formación. En cambio, desde la perspectiva de evaluación 
de resultados, el interés de los análisis económicos son los estudios de rentabilidad. 

En términos generales se puede decir que una acción formativa es rentable cuando 
los beneficios de sus resultados exceden los costos que conllevan; y por acción eficiente 
se entiende aquella que logra los mejores resultados al menor coste. 

Los análisis valorativos donde se relacionan coste con resultados, según la clásica y 
ampliamente aceptada diferenciación realizada por Levin (1983), son de tres tipos: 
análisis de coste-beneficios, análisis de coste-eficacia o efectividad y análisis de coste- 
utilidad. La diferencia entre uno u otro análisis está en el tipo de medida que se utilice 
para valorar los resultados (cuadro 5.15). 

Estas valoraciones de naturaleza económica intentan racionalizar la asignación de los 
recursos y, en consecuencia, tienen sentido si son comparativas. Es decir, para poder 
emitir un juicio de valor es necesaria la comparación de distintas actividades de 
formación, o de programas alternativos que pretenden similares objetivos, o la misma 
acción en el transcurso del tiempo. 


Cuadro 5.15. Tipos de análisis de rentabilidad. 


ANÁLISIS DE: REULTADOS EXPRESADOS EN: 
Coste-beneficios * unidades monetaris 
Coste-eficacia * unidades de eficacia 
Coste-efectividad * unidades de efectividad 
Coste-utilidad * utilidades percibidas 


Análisis de coste-beneficios 


En este análisis ambos términos de la relación se expresan en unidades monetarias. 
Se comparan los beneficios con su coste y se espera una relación equilibrada entre los 
costes y los beneficios que se obtienen. Este análisis exige identificar todos los costes de 
la actividad de formación que se trate y todos los beneficios que se obtienen con ella se 
expresen en unidades monetarias. Si bien conceptualmente este tipo de análisis resulta 
sencillo, su operatividad, sobre todo cuando se trata de formación, es una tarea compleja. 
Traducir todos los costes en unidades monetarias puede ser difícil, pero hacer lo mismo 
con los beneficios sin duda resultará una tarea tremendamente compleja. 

Un primer problema evidente es identificar y medir los beneficios de la formación. 
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Es indudable que la formación reporta importantes beneficios a la organización pero ni 
son fáciles de determinar con precisión, ni son fácilmente traducibles a unidades 
monetarias. En formación, como se escribía con anterioridad, delimitar sus beneficios 
netos es una tarea muy compleja que a veces no vale la pena ni plantearla. Debe 
aceptarse que la formación aporta muchos beneficios si se ajusta a las necesidades de la 
organización y a sus personas, si se planifica y se realiza bien. Intentar deslindar de otros 
efectos los atribuibles a la formación puede exigir unos esfuerzos, a menudo sin éxito, 
que no se justifican. 

Un segundo problema es la dificultad de traducir todos los beneficios de una 
actividad formativa en términos monetarios. La formación tiene unos resultados sociales, 
organizacionales y personales muy difíciles de traducir en monedas. Algunos resultados 
de la formación pueden expresarse en términos económicos, como en el caso de aquellos 
parámetros físicos de explotación relacionados directamente con los comportamientos 
profesionales que han sido objeto de formación. Sin embargo, siempre se ha de tener 
presente que los beneficios de la formación son más amplios, sobre todo cuando se 
pretende comparar distintas actividades formativas que no tienen los mismos objetivos. 


Análisis de coste-eficacia y coste-efectividad 


En estos análisis, los costes se expresan en unidades monetarias pero los beneficios 
no se expresan en términos económicos sino en unidades de resultados, sean de eficacia 
o de efectividad. Conceptual y metodológicamente es similar al análisis de coste- 
beneficio, si bien su nivel de aplicación puede resultar más asequible en cuanto que no 
necesita traducir los beneficios en términos monetarios. A diferencia de los estudios de 
coste-beneficio, que permiten comparar alternativas de programas aun cuando no 
pretendan los mismos objetivos, en el análisis de coste-eficacia o efectividad para poder 
emitir un juicio de valor es necesario que se comparen distintos programas que pretenden 
los mismos objetivos, o el mismo programa en distintas ediciones. 

El análisis de coste-eficacia toma como unidades de resultados los productos de 
aprendizaje: nivel de conocimientos aprendido, nivel o número de habilidades entrenadas. 
De este modo, para estudiar, por ejemplo, la rentabilidad de varias actividades que 
persiguen similares resultados con estrategias diferentes, se pueden medir las ganancias 
en el aprendizaje expresadas en puntuaciones en una prueba, por ejemplo, y se compara 
con los costes de las actividades. 

El análisis de coste-efectividad toma como unidades de resultados medidas de los 
comportamientos o rendimientos profesionales: tiempo de realización de una tarea, 
número de actividades, nivel de motivación por el trabajo expresado en puntuaciones de 
una escala de actitudes, etc. Así, de varias acciones formativas que persiguen similares 
objetivos y tienen el mismo coste, será más rentable o más eficiente, por ejemplo, aquella 
cuyos efectos en el trabajo da lugar a que los tiempos de realización de una actividad 
dada sean menores. 

Estos tipos de análisis son opciones bastante razonables, aunque no fáciles, en una 
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valoración económica de la formación. Se evita el problema de trasladar los beneficios a 
unidades monetarias y la identificación de unidades de resultados netos es asequible si se 
han delimitado bien los objetivos de aprendizaje y profesionales que se pretenden 
conseguir con la actividad formativa. 


Análisis de coste-utilidad 


En estos análisis se relacionan los costes, también expresados en unidades 
monetarias, con la percepción de los beneficiarios sobre la utilidad de los resultados. La 
estimación de la utilidad es una medida subjetiva de los beneficios que las personas 
afectadas directa o indirectamente expresan en términos de satisfacción; por ejemplo, las 
personas expresan su satisfacción sobre el valor de los objetivos conseguidos en una 
escala de 1 a 10. Se trata de un análisis donde se toman en cuenta los beneficios de la 
formación tal como los viven las personas implicadas, la relevancia que tiene para ellas 
desde su percepción y experiencia. 

Por último, se ha de advertir que en la evaluación económica aun siendo deseable, 
en ocasiones no representa un buen criterio de evaluación. En algunos casos el logro de 
determinados objetivos es importante, independientemente de su coste por razones 
políticas, sociales o culturales, y sólo a largo término podrán observarse globalmente sus 
resultados sobre la organización. Tampoco conviene perder de vista que una importante 
rentabilidad en formación es la motivación por el desarrollo personal y profesional y esto 
es muy difícil traducirlo a una medida económica. 


5.7. La validez de la relación causa-efecto en formación: la investigación 
evaluativa 


Se ha hecho ya mención a la dificultad de establecer relaciones causa-efecto en 
formación ya que otros factores externos pueden influir en los cambios que ocurren en el 
puesto de trabajo u organización. Por ejemplo, el nivel de motivación de la persona, o su 
capacidad por estar atenta ante lo nuevo o modificaciones en el contexto laboral, puede 
que influya más que lo aprendido en las sesiones de formación. A fin de demostrar la 
efectividad de la formación, parece que lo ideal sería poder atribuir los cambios de 
conducta y rendimiento de la persona en su puesto de trabajo a lo que ha aprendido. Por 
razones eminentemente prácticas puede asumirse la incertidumbre sobre la falta de 
certeza absoluta de cuáles son las verdaderas razones que origiman los cambios; es decir, 
preocuparse por realizar una buena formación y evaluar su efectividad valorando los 
cambios en el puesto de trabajo asumiendo el modelo teórico de la relación causa-efecto 
que ha orientado los objetivos y estrategias de la formación. Esto es, sin duda, la 
situación más común y desde el punto de vista práctico totalmente aceptable. Sin 
embargo, no podría decirse lo mismo desde una aproximación más rigurosa y científica 
sobre la validez de la formación para obtener los resultados previstos. 
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Para poder demostrar con rigor y precisión la validez de una actividad o programa 
formativo para producir los cambios que pretende, la evaluación debe plantearse como 
investigación evaluativa. Esto es, aplicar los procedimientos de la investigación social 
para emitir un juicio de valor sobre la capacidad de un programa para alcanzar los 
objetivos propuestos. Desde las perspectivas de la investigación evaluativa, un programa 
o una intervención formativa sólo es una hipótesis de intervención que ha de ser 
contrastada empíricamente para demostrar su validez. Un estudio de evaluación de esta 
naturaleza exige utilizar diseños metodológicos que controlen de alguna manera, unos de 
forma más óptima que otros, los factores que pueden amenazar la validez interna y 
externa de las conclusiones del estudio. 

La validez interna de un estudio evaluativo se refiere a la validez de la 
interpretación que se hace de los datos y observaciones recogidas; trata de dar respuesta 
a la cuestión: ¿hasta qué punto los efectos del programa son realmente debidos al 
programa y no a otros factores? La validez externa se refiere a la representatividad y 
generalización de las conclusiones; intenta responder a la cuestión: ¿hasta qué punto se 
pueden generalizar los resultados a otras situaciones similares? 

De los tipos de validez, la interna es clave en evaluación de resultados puesto que el 
objetivo es demostrar si existen o no efectos de la formación. Se dice que un estudio de 
evaluación tiene validez interna cuando se han controlado factores perturbadores que 
pueden producir errores en la interpretación de los datos y observaciones. Estos errores 
pueden ser de dos tipos: a) concluir que el programa es efectivo cuando en realidad no lo 
es, ya que los resultados positivos observados se deben a otros factores distintos al 
programa; y b) concluir que el programa no es efectivo cuando en realidad sí lo es. En el 
cuadro 5.16 se recogen posibles fuentes de los fallos más frecuentes en las conclusiones 
de una evaluación de resultados en el ámbito de la formación. 

La relación de factores extraños que perturban la validez de los estudios de 
evaluación puede consultarse en cualquier obra especializada en temas de investigación; 
clásicamente se identifican como factores que atentan contra la validez interna o externa 
de las conclusiones de estudios. Para hacer frente a estos problemas de validez, la 
investigación evaluativa cuenta con distintos tipos de diseños metodológicos que 
controlan, en mayor o menor medida, los diferentes aspectos que pueden dar lugar a 
errores. No se pretende abordar aquí un análisis profundo de esos diseños 
metodológicos, sólo se intenta ofrecer una visión de conjunto sobre ellos, señalando sus 
respectivas posibilidades y limitaciones cuando se aplican con fines de evaluación. 


Cuadro 5.16. Errores en las conclusiones y origen de los fallos más frecuentes. 
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TIPO DE ERRORES 


Se concluye que el programa 
SÍ NO 
produce los efectos produce los efectos 
que pretende cuando que pretende cuando 
la realidad es que NO la realidad es que SÍ 


e Laautoselección o voluntariado 
de los participantes - 


e Experiencia de los participantes 
en los instrumentos de recogida 


de información + 
e Abandonos + 
e “Efecto de Hawthorne” + 
e Novedad del programa: motivación + 
e El grupo control intenta compensar, 

rivalizar + 
e Problemas de validez y fiabilidad 

en las medidas . 
e Muestras demasiado pequeñas + 
e Período de tiempo demasiado corto + 
e Efectos de otros programas en el 

grupo control + 
e Progamas no implementados totalmente - 


Fuente: Bingham, R. D. y Felninger, C. L. (1989). 
Como se observa en el cuadro 5.17, se distinguen cuatro tipos de diseños 


metodológicos en evaluación: los diseños experimentales, los quasiexperimentales, los 
reflexivos y los globales interpretativos. 


Cuadro 5.17. Las posibilidades y limitaciones de los diseños metodológicos en los 
estudios evaluativos. 
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ESTRUCTURA- 


CARACTERÍSTICAS 


COMENTARIOS 


Posibilidades y limitaciones de 
aplicación en estudios evaluati- 
vOS 


M,: Medida 


M,: Medida 


F: Formación 


a) Formado como mínimo | PRE-POST-EST Muy riguroso porque permite el 


control de las fuentes de varian- 
za. Sin embargo, muy limitado 
en su uso por los problemas que 
presenta su aplicación, especial- 
mente en estudios de evaluación. 
Destacan los siguientes proble- 
mas: 

+ Bastante utópico en evalua- 


por dos grupos: 

— experimental (E) que 
recibe la formación 

- control (C) que no 
recibe formación o 
recibe un programa 


b) La selección de las per- 
sonas y su asignación a 
un grupo u otro es 
totalmente aleatoria 


FACTORIALES 


ción de la formación asegu- 
rar la aleatorización en la 
constitución de los grupos 
Con frecuencia la evaluación 
se inicia cuando el programa 
de formación ya ha comen- 
zado, no hay posibilidad de 
manipular los grupos 
Problemas éticos al seleccio- 
nar sólo algunas personas 
para constituir el grupo expe- 
rimental si se considera que 
la formación que van a reci- 
bir es un beneficio 
Imposible de aplicar en situa- 
ciones donde la cobertura de 
la formación sea total para la 
población que la necesita 
Son costosos y consumen 
mucho tiempo 

No son adecuados en las eta- 
pas iniciales del programa 
cuando aún hay que ajustar- 
lo 


(of usa) 
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_- 


CARACTERÍSTICAS 


a) Formado como mínimo 


por dos grupos: 
- experimental (E) que 
recibe la formación 
- control (C) que no 
recibe formación o 
recibe un programa 
alternativo 


No hay aleatorización 
en la formación de los 
grupos. Se procura que 
el grupo de control sea 
equivalente al experi- 
mental: se igualan al 
máximo los dos grupos 
en las características 
que pueden influir en 
los resultados 


MODALIDAD GRUPOS 


Gpo. 


PRE-POS-EST 


E 


EM, 
CM 


POST TEST 


SERIES 
TEMPORALES 


DISCONTI- 


de corte 


CONTROLES 
ESTADÍSTI- 
COS 


múltiple 


e Análisis 
causales 
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ESTRUCTURA- 


e Regresión 


e La base de estos diseños es la 


ausencia de equivalencia 
total entre ambos grupos y 
ello afecta a diversos aspec- 
tos de la validez interna y 
externa que el evaluador 
debe tomar en consideración 


Con frecuencia son los tipos 
de diseños con dos grupos 
más factibles y, en ocasiones, 
más apropiados de utilizar, 
dadas las condiciones nor- 
males de los estudios eva- 
luativos 


Además de las dificultades 
propias a cada una de las 
modalidades, el problema 
fundamental es asegurar la 
equivalencia de ambos gru- 
pos en las variables que se 
consideran relevantes en los 
resultados. La estrategia 


podría ser: 


- seleccionar un grupo con- 
trol lo más similar al gru- 
po experimental 

- se recoge de ambos gru- 
pos información sobre 
otras características que 
pudieran intervenir en los 
resultados 


¡0 
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CARACTERÍSTICAS 


Son de naturaleza 
emergente: las finalida- 
des y actividades se van 
definiendo durante el 
proceso de evaluación 
Utilizan una perspecti- 
va holística, ponen el 
énfasis en la descrip- 
ción de los procesos 
que se desarrollan en la 
formación 

La implicación y la 
negociación continua 
con las personas inte- 
resadas son importan- 
tes desde el inicio de la 
evaluación 

Toma en consideración 
la pluralidad de valores 
e intereses 

Las técnicas de obten- 
ción de información 
más utilizadas son de 
naturaleza cualitativa: 
entrevistas, observación 
participante, etc. 
Importantes los proce- 
sos de triangulación de 
información 


MODALIDAD 


Corresponde a 
los modelos 
de evaluación 
cualitativa, 
entre los que 
destacan los 
siguientes: 


e Diseño sin 


metas 
(Scriven, 
1973) 
Diseño 
respon- 
dente 
(Stake, 
1967,1975) 
Diseño 
iluminati- 
vo (Parlett 
y Hamil- 
ton, 1976) 
Diseño 
naturalista 
(Guba y 
Lincoln, 
1981) 
Diseño 
focalizado 
en la utili- 
zación 
(Patton, 
1986, 
1987) 


GRUPOS 
Gpo. 


Sólo intervie- 
ne el grupo 
que ha recibi- 
do formación 
y las personas 
relacionadas 
con la misma. 
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COMENTARIOS 


Surgen como reacción ante las 
limitaciones de los diseños clá- 
sicos de orientación más cuan- 
titativos 


La implicación de las personas 
en el proceso evaluador favo- 
rece que sus resultados tengan 
grandes probabilidades de ser 
útiles: por centrarse mejor 
sobre lo que interesa saber, por 
adecuarse al contexto y por la 
sensibilidad que despierta en 
las personas como efecto de 
su participación 


Su éxito exige la colaboración 
de las distintas partes intere- 
sadas en el programa 


Exige evaluadores muy prepa- 
rados en habilidades interper- 
sonales 


DISEÑOS REFLEXIVOS 
ESTRUCTURA- 


GRUPOS 
Gpo. 


CARACTERÍSTICAS MODALIDAD 


COMENTARIOS 


PRE-POS-EST 
(autorreferencia) 


a) Se realiza el estudio 
sólo con el grupo que 
recibe la formación, sin 
plantearse un grupo de 
control 


e Desde la perspectiva experi- 
mental son los diseños más 
débiles, donde las amenazas 
de validez interna y externa 
son importantes por la falta 
de control de muchos facto- 
res 


SERIES 
TEMPORALES 


EM, M, FM, M, 


b) Para valorar los resul- 
tados se comparan los 
resultados obtenidos 
con: 

- medida/s anterior/es 

- estándares en la 
población (compa- 
ración normativa) 

- niveles previos que 
se pretenden alcan- 
zar (comparación 
absoluta) 


COMPARA- 
CIÓN NOR- 
MATIVA Y 

COMPARA- 
CIÓN ABSO- 
LUTA 


e No obstante, si se considera 
su practicabilidad, sus bajos 
costes e incluso lo apropia- 
das que son algunas de sus 
modalidades, son diseños 
muy útiles para evaluar la 
efectividad de la formación, 
procurando estar atentos 
sobre los factores distorsio- 
nadores que no controlan 


En el cuadro se exponen las características relevantes de cada uno de ellos y 
comentarios sobre sus posibilidades y limitaciones de aplicación en un estudio de 
evaluación. 

Como se ha comentado al inicio de este capítulo, la utilidad de estos diseños 
evaluativos es estudiar la validez de las conclusiones sobre los resultados de la formación 
en la medida que intentan diferenciar los efectos de la formación de otros posibles 
factores ajenos al programa que pueden haber influido en los cambios y conducta de los 
participantes. Algunas consideraciones generales sobre la utilidad e interpretación de estos 
diseños en el ámbito de la evaluación de la formación, son los siguientes: 


l. Diseños con grupos de control experimentales y cuasi experimental. En estos 
diseños se trabaja como mínimo con dos grupos: uno recibe formación y otro 
no, o bien uno recibe el programa A y otro el programa alternativo B. 
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Los diseños experimentales teóricamente son los más potentes en cuanto 
que controlan mayor cantidad de las fuentes de error descritas anteriormente, y 
ello es porque la asignación de los participantes a uno u otro grupo es totalmente 
aleatoria. Sin embargo, esta asignación aleatoria en la mayoría de las ocasiones 
no es posible y, en consecuencia, se trabaja con diseños cuasiexperimentales 
donde los grupos se forman procurando que sean lo más similares posible en 
aquellos aspectos que se consideran relevantes (por ejemplo, edad, sexo, año de 
experiencia, categoría profesional, etc.). Los de mayor uso en la formación se 
detallan a continuación: 


a) Utilidad de los diseños de pre-posttest y de posttest para: 


e valorar los efectos de un programa de formación-, en esta modalidad 
se forman dos grupos, uno que recibe la formación y otro que no. Se 
procurará que durante la formación, el grupo que no recibe formación 
(grupo control) se mantenga en una situación lo más neutral posible 
respecto a la formación que se valora, que no haga actividades 
relacionadas con ella y no desarrolle ningún tipo de las reacciones 
descritas en párrafos anteriores. El valor del programa se determina a 
partir de la comparación del rendimiento final alcanzado por ambos 
grupos. Cuando hay una medida anterior a la formación como es el 
caso de los diseños pre-posttest, además de la comparación de 
rendimientos finales, se puede valorar la ganancia obtenida por el 
programa. 

* estudiar el valor relativo de dos programas de formación que 
persiguen similares objetivos pero tienen diferente estructuración 
pedagógica (distintas metodologías, tiempo de formación, etc.) o 
diferentes costes. Se trabaja como mínimo con dos grupos: uno recibe 
el programa A y otro el programa B; la comparación de los niveles 
finales alcanzado por los dos grupos califica al mejor programa. Si se 
tiene una medida anterior como ocurre con el diseño pre-postest, 
además de las diferencias finales entre los dos programas se puede 
valorar la ganancia que aporta cada uno de ellos respecto a la posición 
inicial de los participantes. 


b) Utilidad de los diseños de grupo salomón para valorar programas de 
formación: este diseño ofrece el mayor grado de control sobre los factores 
ajeno a la formación. Son diseños que requieren contar con cuatro grupos 
tal como se observa en el esquema del cuadro 5.17. Las comparaciones 
que se pueden efectuar entre los distintos grupos y entre las situaciones 
anteriores y posteriores a la formación proporcionan importante 
información sobre el valor del programa. No obstante, en la práctica, si no 


177 


es que se trate de un programa muy importante para la organización que 
desea asegurar sus resultados (por ejemplo, evaluar un programa que es 
costoso con anterioridad a extenderlos a un número considerable de 
personas), es probable que este diseño sea muy poco factible, ya que es 
difícil contar con los recursos necesarios para organizar tales 
comparaciones. 


c) Utilidad de los diseños factoriales para valorar programas que tienen más 
de un tratamiento o componente. Por ejemplo, se desea analizar la 
efectividad de un programa según la enseñanza-aprendizaje se haga sólo 
mediante recursos audiovisuales interactivos preparados, o mediante una 
enseñanza tradicional con un docente presencial, o utilicen ambos 
procedimientos de enseñanza. En este caso se comparan cuatro grupos, 
tal como se observa en el cuadro 5.17: (a) sí-sí: enseñanza con docente y 
con medios audiovisuales interactivos; (b) sí-no: sólo con medios 
audiovisuales; (c) no-sí: sólo con docente; y (d) no-no: sin formación. Es 
un diseño potente para el análisis de metodologías de enseñanza pero 
exige el costo organizativo de contar con distintos grupos de formación; 
por esto, se aconseja su uso cuando existe un claro interés por encontrar 
la máxima efectividad de programas donde se duda del valor de una 
metodología de enseñanza o de distintos tratamientos en el mismo 
programa. 


d) Utilidad de las series temporales para valorar programas en los que es 
fácil obtener medidas de resultados. Estos diseños implican tener medidas 
de los productos o comportamientos que se desea cambiar con 
anterioridad al programa de formación y en diferentes momentos 
temporales, y medidas una vez acabado el programa sobre los mismos 
aspectos y también en distintos momentos. El hecho de disponer de varias 
mediciones aumenta la validez de los resultados de la evaluación puesto 
que permite establecer tendencias como base de comparación en lugar de 
una sola medida. 


e) Utilidad del diseño de discontinuidad de la regresión para valorar 
programas en los que se quieran estudiar sus efectos asociados a algún 
aspecto de interés, por ejemplo, los años de trabajo, o según niveles 
intelectuales de los usuarios, etc. Los dos grupos, experimental y control, 
se forman en función de un punto de corte que se establece a priori en la 
variable de interés; por ejemplo, los que tienen uno a cinco años de 
experiencia forman el grupo de control que no recibirá el programa y los 
que tienen más de cinco años forman el grupo experimental que recibirá el 
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programa. 


$) La utilidad de los controles estadísticos para valorar los resultados de un 
programa utiliza estrategias en las cuales sólo son necesarias mediciones 
posteriores al programa. Los estudios de regresión y los modelos causales 
permiten conocer las relaciones y la contribución diferencial que distintos 
componentes de la formación (características de los usuarios, 
profesorado, participación, etc.) tienen en los resultados obtenidos. 


2. Los diseños reflexivos no requieren establecer grupos de comparación y son 
especialmente útiles en programas que tienen una cobertura total en los que es 
imposible establecer un grupo control, o en los que es muy difícil localizar un 
grupo que no recibe la formación similar al grupo que la recibe. 

Posiblemente sean los tipos de diseño más asequibles y prácticos dadas las 
condiciones y recursos con los que normalmente se cuenta en evaluación. 
Pueden plantearse con mediciones anteriores al programa o sólo posterior al 
programa; en el primer caso la valoración se hace en función de las ganancias 
obtenidas al final del programa respecto a la situación inicial de los participantes; 
en el segundo caso, se requiere contar con un estándar absoluto o normativo 
que sirva de patrón comparativo. 


3. Los diseños basados en modelos globales e interpretativos se sitúan 
preferentemente en un paradigma cualitativo y naturalista que busca sobre todo 
no la explicación de los procesos, sino la interpretación comprensiva de los 
procesos de un programa; también abogan por el uso de procedimientos y 
técnicas de acercamiento a la realidad de naturaleza eminentemente cualitativa. 

Estos modelos, para evaluar los resultados de la formación, son útiles 
cuando: (a) se trata de atender a una amplia gama de grupos interesados en la 
evaluación (políticos, planificadores, directores, gestores, docentes, alumnado, 
etc.) con los que se debe mantener continua comunicación para descubrir, 
investigar sus necesidades y solucionar sus problemas; (b) cuando el centro de 
interés de la evaluación es el proceso del programa, su interpretación y la 
construcción de significados por parte de las distintas partes implicadas, más que 
los resultados finales que se obtienen con el programa; y (c) cuando se pretende 
que la evaluación sea un motor de cambio y de sensibilización entre las personas 
que participan y se relacionan de alguna manera con el programa de formación. 
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6 


Las técnicas de evaluación 


En la actualidad existe una amplia gama de técnicas evaluativas a disposición del 
proceso de evaluación. Unas son de naturaleza cuantitativa, otras más cualitativas y en 
otras se pretende conjugar ambas aproximaciones. En teoría ninguna técnica es mejor 
que otra. Es obvio que todas tienen sus ventajas y limitaciones, unas son más idóneas 
según la información que requieran los propósitos de la evaluación. Otro elemento 
importante a considerar se refiere a los esfuerzos humanos y económicos que se asignan 
a la evaluación pues, en este sentido, unas técnicas resultan más asequibles, menos 
costosas y más fáciles de elaborar y aplicar que otras. 

Dos criterios básicos orientan la elección de una u otra técnica evaluativa: su utilidad 
y su contextualización. La utilidad en cuanto que sirven para obtener la información 
necesaria a los propósitos de la evaluación. La contextualización en relación a que las 
técnicas necesitan ajustarse a las restricciones y condiciones que impone el contexto 
humano (por ejemplo, competencia técnica del evaluador) y los recursos donde se 
aplican. Esto significa que cuando se ha seleccionado una técnica se ha asegurado 
previamente que la formación que proporciona es necesaria y que se puede aplicar con el 
suficiente rigor para confiar en la calidad de la información que proporciona. 

Existen distintas maneras de clasificar las técnicas de evaluación. Lo más usual es 
distinguir entre procedimientos cuantitativos y cualitativos. Entre los primeros se incluyen 
las pruebas de aprendizaje tipo test u objetivas, los cuestionarios estructurados, las 
escalas de actitudes, los procedimientos de observación muy sistematizados y 
estructurados. Como técnicas cualitativas se reseñan las pruebas de preguntas abiertas y 
de ejecución no estandarizadas, las entrevistas abiertas, los procesos de observación 
participantes, el análisis de contenido, la técnica Delphi y los procedimientos grupales 
como son los grupos de discusión, el grupo nominal, los foros, entre otros. 

En este capítulo se aborda el proceso de elaboración y análisis de cinco técnicas de 
evaluación: las pruebas de aprendizaje, los cuestionarios de opinión, las escalas de 
actitudes, la observación, los grupos de discusión y el análisis de contenido. Se han 
seleccionado estos procedimientos por dos razones: la amplia utilización que se hace de 
ellos en la evaluación de la formación y el interés por ofrecer procesos sencillos de 
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elaboración, para cada una de ellos, que garantizan un mínimo de calidad en la 
información que proporcionan. 

Se aparta de los límites de esta obra desarrollar con detenimiento los procesos de 
construcción, aplicación e interpretación de otras técnicas evaluativas. La persona 
interesada puede consultar libros especializados existentes en el mercado en los que 
encontrará estudios detallados de una u otra técnica. Obras que describen diferentes 
técnicas son las de Cabrera Espín (1986), Sierra Bravo (1991), Del Rincón, Arnal, 
Latorre y Sans (1995), entre otras. Otros textos de interés por sus temáticas 
especializadas son los de Espín y Rodríguez Lajo (1993) sobre pruebas de rendimiento; 
Muccielli (1974, 1975) y Davis (1975) sobre elaboración de cuestionarios y entrevista a 
grupos; R. Dawes (1983) y Morales (1988) sobre escalas de actitudes; Anguera y 
colaboradores (1993) sobre observación; y Krueger (1991) para los grupos de discusión, 
y Bardin (1977) sobre el análisis de contenido. 


6.1. Elaboración de pruebas de aprendizaje 


En el capítulo 5 se expusieron distintos procedimientos para evaluar resultados de 
aprendizaje: pruebas objetivas, pruebas de ensayo y pruebas de ejecución o situacionales. 
En este epígrafe se abordan los procedimientos a seguir para su elaboración, aplicación y 
análisis. Tratándose todas ellas de procedimientos de evaluación sobre el rendimiento 
alcanzado en los objetivos pedagógicos, el punto de partida para todas ellas es el mismo: 
una clara delimitación y especificación de los objetivos que deben ser objeto de 
evaluación, las operaciones siguientes son diferentes según las características de la propia 
prueba. Por esto, muchas de las cuestiones tratadas en la exposición más detallada que se 
hace sobre la elaboración de las pruebas objetivas son fácilmente transferibles a los otros 
tipos de pruebas que se exponen posteriormente. 


6.1.1. Elaboración de pruebas objetivas 


Las pruebas objetivas se caracterizan por tener un formato de estructura cerrada en 
cuanto que la persona meramente debe reconocer la respuesta entre las posibilidades que 
se le ofrecen o meramente escribir una palabra o frase. Los pasos que se aconsejan 
seguir en su elaboración se recogen en el cuadro 6.1. En el proceso destacan dos 
momentos decisivos: seleccionar las preguntas que conformarán la prueba para que 
constituyan una muestra representativa del aprendizaje que se pretende valorar y 
formularlas adecuadamente para reducir posibles errores de medición (falta de claridad 
en la pregunta, alternativas superfluas, concentrarse sólo en la valoración de aprendizajes 
memorísticos de conceptos o procedimientos, adivinación al azar, etc.). 
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Cuadro 6.1. Etapas de elaboración de una prueba objetiva por docentes o monitores. 


PLANIFICACIÓN . 


ELABORACIÓN DEL + 
CUADERNILLO 


ANÁLISIS DE o 
LAS PREGUNTAS 


Determinar la finalidad 
de la prueba 


Delimitación de objetivos 
y contenidos de 
aprendizaje 


Determinar la importancia 
relativa de los objetivos y 
contenidos en el conjunto 
de la prueba 

Elaborar las preguntas 
Elaborar cuadernillo de 

la prueba e instrucciones de 
aplicación y corrección 


Análisis de la dificultad de 
la prueba y preguntas 
Análisis de la discriminación 
de las preguntas 
Sugerencias de mejoras de 
la prueba o de las preguntas 
en particular 


Diagnóstica 

Formativa 

Sumativa 

Especificar, con el mayor 
nivel de concreción posible, 
los objetivos y áreas de 
contenidos que serán objeto 
de evaluación con la prueba 
objetiva 


Elaborar tabla de 
especificaciones 

Determinar número 

de preguntas 

Seleccionar tipo de pregunta 
Organizar la secuencia 

de las preguntas 


Índice de dificultad 
Indice de discriminación 
Análisis de los distractores 


l. Delimitación de la finalidad de la evaluación y objetivos de aprendizaje 


Tratándose de una prueba de rendimiento que pretende medir los efectos de un 
aprendizaje, la finalidad de esta primera etapa es delimitar los objetivos y contenidos que 
van a ser objeto de evaluación con la prueba. Esto implica determinar la finalidad de la 
prueba, en primer lugar, y el desglose del objetivo general en objetivos de aprendizaje 
más específicos, posteriormente. 


a) Finalidad de la prueba 


La finalidad de la prueba depende del tipo de inferencia que se pretenda hacer con 
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sus resultados, que es diferente según la modalidad de evaluación que se trate. Las 
evaluaciones diagnóstica, formativa y sumativa requieren distintos tipos de pruebas. Los 
planteamientos que deben orientar la elaboración de las pruebas son particulares para una 
u otra evaluación, tal como se observa en el cuadro 6.2. 


b) Delimitación de los objetivos de aprendizaje que serán objeto de evaluación 


Con el fin de realizar un muestreo adecuado, los objetivos generales deben 
concretarse en objetivos específicos. El nivel de detalle de la especificación de los 
objetivos debe decidirlo el docente que elabora la prueba puesto que su finalidad es 
delimitar con claridad el universo de contenido, del que la prueba (sus preguntas) es sólo 
una muestra. Para seleccionar los objetivos y contenidos a representar en la prueba, se 
aconseja tener en cuenta: 


— Seleccionar sólo aquellos objetivos y contenidos que son adecuados valorar 
mediante pruebas objetivas. 

— Considerar la importancia que se le ha dado durante el aprendizaje. 

— Considerar sus condiciones de transferencia o posibilidades de aplicación a la 
situación laboral o a otros aprendizajes. 


2. Elaboración de las preguntas y cuadernillo de la prueba 


Es la fase donde se seleccionan las preguntas y se organizan en las hojas que 
constituirán el protocolo o cuadernillo de la prueba. Es un momento impor-tante en la 
elaboración de una prueba puesto que la calidad de la información que se recoja depende 
del rigor con el que se ha hecho la selección de los aspectos que se preguntarán y cómo 
se han formulado las preguntas. Teniendo en cuenta que la prueba que resulte no es más 
que una muestra (por ejemplo, 25 preguntas) de todas las posibles preguntas que se 
podían haber seleccionado, el rigor metodológico de esta fase garantiza la 
representatividad de tales preguntas. Para ello es necesario que se responda 
adecuadamente a los aspectos siguientes. 


Cuadro 6.2. Finalidad de las pruebas según modalidades de evaluación. 
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a) Importancia relativa de los objetivos y contenidos del aprendizaje 


El criterio fundamental para determinar la importancia de los objetivos y contenidos 
y, por consiguiente, su mayor peso en el total de la prueba, es el énfasis que se le haya 
dado durante el proceso de aprendizaje. La tabla de especificaciones es una estrategia 
útil para planificar y sintetizar la importancia relativa que tendrán las especificaciones de 
objetivos y contenidos en la prueba. En una columna, se colocan las áreas o temas en los 
que se distribuye el contenido y, en la otra columna, los tipos de conocimientos y 
habilidades que comprenden los objetivos. Las celdillas de la tabla se usan para colocar la 
cantidad de preguntas de la prueba clasificadas por objetivos y contenidos. Si se lee la 
tabla en horizontal, los totales de las filas informarán de la importancia relativa que tiene 
cada contenido en el conjunto de la prueba. Si se lee en vertical, los totales de las 
columnas informarán de la importancia relativa de los objetivos en la prueba. Así, por 
ejemplo, en el tabla 6.1, que representa una tabla de especificaciones de una prueba de 
39 preguntas sobre “evaluación de programas educativos”, puede observarse la distinta 
presencia que tienen en la prueba los objetivos y contenidos. Los números sin paréntesis 
representan la cantidad de preguntas que corresponden al contenido y objetivo de la 
intersección, y los números entre paréntesis indican el número que estas preguntas tienen 
en la prueba. 


b) Numero y tipo de preguntas 


Para determinar el número de preguntas que debe tener la prueba se deben combinar 
los siguientes factores: 


= Edad de las personas: en el caso concreto de adultos debe tomarse en 
consideración su mayor o menor experiencia con tareas intelectuales y 
con el lenguaje escrito. É o 

— Tipo de pregunta: debe tenerse en cuenta que las distintas preguntas 
requieren esfuerzos de lectura diferentes. Para pruebas de preguntas de 
elección múltiple se aconseja un número en torno a 30-35 preguntas, y 
para las de tipo verdadero-falso un número alrededor de 40-50 puede ser 
aceptable. 

— La dificultad de la pregunta: el tiempo que requiere la respuesta y el 
tiempo total previsto para la prueba, son otros aspectos que deben tenerse 
en cuenta para determinar el número de preguntas totales. 


Tabla 6.1. Tabla de especificaciones de una prueba sobre evaluación de programas 
educativos. 


185 


%001 %€lL %€€ % LP %€L 


6€ S €l 91 8 TVLOL 
% 7 (9€ “vE ZE) (BE LE “SE EE)  (6£“LE) 

6 € y T UQIDEN|LAS IP SLOIUIZ] 
%€Zl (sz) (0€ “22 27) (87 “97 “pz “EZ) 

6 L € y L SOpe]¡nsa ap uQIDen"en3 
%EL (07) (21 “LZ) (61 '81) u9eJuaua¡duu! 

S | € l e] ap uOIDen¡eA3 
%€l (91 “S1 “p1) (El 11) 

S € 4 OU3SIP [Ap UOIDEN|EAJ 
%8 (21 “01 %6) 

€ € UQIDEN|LAD IP SOJSPON 
% 07 (S) (8 '9*1) (1 v EZ) ¡enidaduos Á 

8 L € v 091.0351Y 0]]0J1eS9(] 

(**sOUIWUI9] 
TVLOL SOD1Jp13 "soyoay) SOCINILNOD 


uoiejaldajup  uQIDe3oIdy  u0QIsuaiduo)  SOJUa1UIIDOUO?) 


186 


Respecto al tipo de pregunta, se puede optar por realizar toda la prueba con el 
mismo tipo de pregunta (por ejemplo, todas de elección múltiple) o con tipos variados. 
Las ventajas del primer caso es la mayor facilidad de corrección y análisis de la prueba. 
La ventaja de la variedad es que aumenta la motivación de la persona y ofrece más 
posibilidades para valorar aprendizajes diferentes. En el cuadro 6.3 se exponen los tipos 
de preguntas más usuales así como las normas que deben observarse para su correcta 
formulación. 


Cuadro 6.3. Tipos más frecuentes de preguntas objetivas y normas de elaboración. 


Normas generales para la elaboración de cualquier pregunta objetiva 


Los enunciados deben ser claros y lo más directos posible, debiendo cada pregunta: 

+ tratar aspectos importantes y no triviales 

+ ser independiente de las otras, su respuesta no debe requerir la solución correcta de otra 

+ — aportar la información necesaria para su respuesta, y no añadir información que no sea relevante para la 
solución 


Verdadero/Falso 


VF La penicilina es una droga eficaz para el tratamiento de la neumonía por estreptococos 


Asegurar que el enunciado pueda clasificarse como falso o verdadero de forma inequívoca y evitar los siguientes 
errores más frecuentes: 

+ enunciados verdaderos sistemáticamente más largos y elaborados que los negativos 

+ enunciados negativos y sobre todo la doble negación 

+ incluir en el enunciado una parte falsa y otra verdadera 

+ copiar textos literales de los manuales y colocar un “no” delante para elaborar enunciados falsos 


Laguna o completamiento 


La moda es una medida de tendencia central que expresa el valor ............ de una distribución de frecuencia 


Debe asegurarse que sólo existe como respuesta correcta la que se espera. Tener en cuenta respecto a la laguna o 

espacio en blanco los siguientes puntos: 

+ no debe colocarse al principio del enunciado, debe situarse en un lugar que cuando se llegue a ella la persona 
sepa qué se está preguntando 

+ no abusar de su número en el mismo enunciado puesto que éste pierde su sentido 

+ la longitud debe ser siempre igual para no dar pistas sobre la respuesta 

+ evitar elaborarlas copiando un texto literal en el que se ha omitido una o dos palabras 


Elección múltiple 
Los aparatos que se utilizan para medir la intensidad de los terremotos se llaman: 


Ú sismógrafos U pluviómetros U pluviogramas U sismogramas 


Puede ser de dos tipos: a) una alternativa es la respuesta correcta y todas las demás son erróneas; y b) una 
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alternativa es la mejor respuesta por ser sensiblemente más correcta que las otras, que pueden no ser erróneas. 

El enunciado debe expresar la pregunta que se hace, sin necesidad de que la persona tenga que recurrir a la 
lectura de las alternativas para saber qué es lo que se pregunta. Respecto a las alternativas de respuesta debe 
procurarse que: 

+. sean gramaticalmente consistentes con la pregunta y entre las mismas alternativas 

+ sean plausibles, sobre todo cuando se hacen preguntas con cuatro o cinco alternativas 

+ sean lo más cortas posibles, descargándose de los elementos comunes que deben pasarse al enunciado 

+ la alternativa correcta no sea más larga y elaborada que las incorrectas 

+ se distribuya la respuesta correcta al azar entre las alternativas 


Correspondencia o emparejamiento 


Para cada tejido, coloca en el cuadro el número que corresponde a la estructura de sus células. Dos tejidos 
quedarán sin número. 


1. Sus células son muy alargadas y pueden 


Epitelial L] 
contraerse 
, 2. Sus células están pegadas unas con otras 
Nervioso ÚU : peg 
y dispuestas en varias capas 
3. Sus células oseen numerosas 
Muscular L] A E , 
prolongaciones conectadas entre sí 
Aa 4. Sus células no están en contacto entre sí, 
Cartilaginoso (3 


poseen una materia intercelular muy dura 


El contenido de ambas columnas debe ser consistente y hay que procurar: 

+ colocar en una columna más elementos que en la otra, avisando de ello a la persona 
+ — larespuesta debe señalarse en la columna con contenido más corto 

*. especificar claramente cómo la persona debe señalar su respuesta 

+ evitar un número excesivo de elementos en las columnas, de 5 a 6 es aconsejable 


Fuente: Adaptación de Cabrera (1993). 


c) Organización de las preguntas. Elaboración del cuadernillo de la prueba 


Una vez elaboradas las preguntas se llevará a cabo su estructuración y organización 
para dar forma al cuadernillo de la prueba. Para su elaboración deben tomarse en 
consideración los siguientes aspectos: 


— Se debe prever en la primera hoja algunos apartados: datos de identificación de 
la persona; ejercicios de prácticas sobre cómo responder a las preguntas si son 
necesarios; tiempo del que disponen para realizar la prueba si es con control de 
tiempo, y lugar para colocar la puntuación final obtenida, y parciales si las 
hubiera. 

— Para organizar las preguntas, se puede optar por ordenarlas según su dificultad o 
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agruparlas por el contenido y objetivos que pretenden. En el primer caso, las 
preguntas se presentan en dificultad y complejidad creciente; esta disposición 
favorece que la persona adquiera seguridad cuando inicia la prueba. En el 
segundo caso, las preguntas se agrupan por referirse a una misma unidad de 
contenido u objetivo; se favorece la concentración y rendimiento de la persona. 
Si se elige este último caso, también el más aconsejable, dentro de cada 
temática las preguntas se presentan en dificultad creciente, de las que parecen 
más fáciles a las más difíciles o complejas. 


d) Normas de aplicación y de corrección de la prueba 


Se aconseja redactar unas normas de aplicación y corrección cuando se prevea 
aplicar la prueba a diferentes grupos con el fin de asegurar que las condiciones sean lo 
más similares posible y no introducir problemas de fiabilidad. Así, por ejemplo, la 
puntuación de la persona puede variar mucho si se le ha notificado o no que las 
respuestas erróneas penalizan, o si se les da más o menos tiempo para contestar a la 
prueba. 

Las normas de aplicación se refieren a las explicaciones del evaluador a las 
personas que realizan la prueba sobre aspectos tales como: forma de marcar las 
respuestas y cómo solucionar el problema de rectificar una respuesta ya marcada, tiempo 
de la prueba, y si hay o no corrección de respuesta al azar, es decir, si las respuestas 
erróneas penalizan o no. 

Las normas de corrección establecen cómo se corregirán las preguntas. Una plantilla 
de corrección facilita y agiliza la corrección de las pruebas objetivas. La posibilidad de 
que la persona acierte la respuesta correcta en una prueba objetiva es una cuestión a 
tener en cuenta. Por esto, a menudo se aplican fórmulas que pretenden contrarrestar las 
probabilidades de acertar al azar. En el cuadro 6.4 se presenta la fórmula general y un 
ejemplo para realizar esta corrección cuando cada pregunta sólo admite un punto 
(correcta) o un cero (incorrecta): 


Cuadro 6.4. Corrección de acertar al azar. 


P=A-E/n - 1 Ejemplo: la puntuación final de una 
A = total respuestas correctas persona que ha respondido a 27 
E = total de respuestas erróneas preguntas de elección múltiple (con 


cuatro alternativas), de las cuales 


n = número de alternativas de las preguntas 22 son correctas y 5 erróneas, es: 
P=22=5/4-1 =.25,3 
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3. Análisis de preguntas 


Una vez aplicadas y corregidas las pruebas conviene analizar la calidad de sus 
preguntas. Este análisis permite al docente identificar la dificultad de las preguntas, de la 
prueba en general, localizar errores o deficiencias de enseñanza y aprendizaje, identificar 
las mejores preguntas, y localizar las que deberían desestimarse para otra ocasión o 
mejorar su formulación. Los pasos para realizar este análisis se describen a continuación. 
En la tabla 6.2 se expone a modo de ejemplo, para ilustrar las distintas operaciones del 
análisis, el supuesto de una prueba de 6 preguntas aplicadas a 8 personas. 

Primero. Una vez corregidas las pruebas, se ordenan los cuadernillos desde la 
puntuación más alta a la más baja. Se elabora una tabla de doble entrada donde se 
colocan las preguntas en la parte superior y en el margen izquierdo las personas, 
ordenadas desde la de mayor puntuación a la de menor puntuación. En las celdillas de la 
tabla se colocarán las respuestas dadas por cada persona a cada una de las preguntas de 
la prueba. 

La tabla, como se muestra en el ejemplo, se divide en dos partes, distinguiendo el 
grupo superior y el grupo inferior en función de la puntuación total obtenida. Así, el 
“orupo superior” (G,) se forma contando desde el que tiene mayor puntuación hacia 


abajo hasta llegar al número que haga el 50% de grupo, y el grupo inferior (G;) lo forma 
el 50% restante de los sujetos. Téngase en cuenta que: 


— Puede ocurrir que los últimos del grupo superior y los primeros del grupo 
inferior tengan la misma puntuación global, ello es frecuente y no afecta al 
análisis. 

— Si el número del grupo es impar, se prescinde para el análisis de la persona que 
ocupe la posición central del grupo. 

— Si el grupo de sujetos al que se le ha aplicado la prueba es muy numeroso (más 
de 40 personas), se puede realizar el análisis sólo con el 27% del grupo 
superior y con el 27% del grupo inferior de las personas, prescindiéndose de 
los sujetos centrales entre ambos grupos. Se obtendrán prácticamente los 
mismos resultados que si se hubiera trabajado con todo el grupo. 


Segundo. Una vez elaborada la tabla se procede al vaciado de las pruebas, 
colocando en las celdillas las respuestas de las personas a cada pregunta: un positivo (+) 
cuando se trata de respuesta correcta, un negativo (-) cuando se trata de respuesta 
errónea, y una raya (—) cuando se trata de una omisión. 

Tercero. Análisis de la dificultad de las preguntas y de la prueba global. La 
dificultad de la pregunta de una prueba se determina por el número de personas que la ha 
respondido correctamente. Su cálculo puede estimarse mediante la siguiente formula: 


o) 


a = n.” de personas que ha 
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contestado correctamente la 
pregunta. 

N= n. de personas que ha 
realizado la prueba 


Indice de dificultad = a /N x 100 


Este índice de dificultad oscila entre 100 (caso de una pregunta contestada por todas 
las personas, y por consiguiente carente de dificultad) y O (pregunta no acertada por 
nadie, excesivamente dificil). En términos generales, la valoración de la dificultad de los 
índices es la siguiente: 


índices Facilidad 

> 74 muy fáciles 
55 a 74 fáciles 
45 a 54 dificultad media 
25 a 44 difíciles 

< 25 muy difíciles 


La dificultad media de la prueba queda determinada por el promedio de los índices 
de dificultad de sus preguntas. En la tabla 6.2 se presenta un ejemplo que ilustra el 
cálculo y la interpretación de este índice. 


Tabla 6.2. Análisis de las preguntas de una prubea formada por 6 preguntas, 3 de 
elección múltiple y 3 de verdader/falso. 
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Cuarto. Estimación del índice de discriminación. Este índice informa del grado en 
que la pregunta sirve para distinguir entre los “mejores” y los “peores” alumnos. La 
lógica del índice se basa en que las respuestas correctas que tiene una pregunta 
pertenecen más a las personas mejores en la prueba que a las peores. Por ello, para el 
cálculo de este índice se compara lo que ha hecho el grupo superior e inferior en la 
pregunta. Su fórmula es la siguiente: 


a. = número de personas del grupo 
superior que han respondido 
correctamente a la pregunta 

Índice de discriminación = a,-a,/m  a,= número de personas del grupo 

inferior que han respondido 
correctamente a la pregunta 
n= número de personas en cada grupo 
que es el mismo en ambos grupos 


Los valores posibles de un índice de discriminación oscilan entre 1 y -1. Un índice 
de discriminación positivo indica que la pregunta es válida para diferenciar a las personas 
que más saben de las que menos saben en los objetivos que se valoran en la prueba (la 
pregunta es más acertada por el grupo superior que por el inferior). En cambio, un valor 
de discriminación negativo es un indicador de problema en la pregunta puesto que la 
contesta correctamente más el alumnado con peores puntuaciones que las personas del 
grupo superior. Los índices de discriminación deben interpretarse teniendo en cuenta los 
siguientes significados: 


— Un valor de discriminación de 1, significa que todas las personas “mejores” 
(grupo superior) han respondido correctamente a la pregunta y ninguna del 
grupo inferior. Cuanto más se acerque a 1 el índice de discriminación mejor 
será la pregunta. 

— Un valor de discriminación de -1, quiere decir que todas las personas del grupo 
inferior la han acertado y ninguna del grupo superior. Las preguntas cercanas a 
este valor deben eliminarse o revisarse. 

— Un valor de discriminación de O, quiere decir que la pregunta no sirve para 
discriminar entre las personas que más y menos saben. Puede que no se trate 
de una mala pregunta, sino que por ser muy fácil (la contestan prácticamente 
todas las personas) o muy difícil (no la contesta casi nadie) no establece 
diferencias entre el alumnado. 


En definitiva, el poder de discriminación de las preguntas será mayor cuanto más se 
acerque a 1 y su discriminación será válida en cuanto sea positiva. 

Téngase en cuenta que el índice de discriminación cobra real sentido con las 
preguntas que tienen una dificultad media (en torno a índices de dificultad de 35 a 75). 
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Las preguntas muy fáciles o muy difíciles no tienen mucho poder discriminativo, si bien 
deben presentar una discriminación positiva. Por consiguiente, este índice sólo tiene 
interés cuando se trata de elaborar pruebas que diferencien distintos niveles de 
conocimientos entre las personas. 

Quinto. Análisis de los distractores En las preguntas con varias alternativas de 
respuesta, interesa conocer la eficacia de las alternativas incorrectas o distractores. Desde 
el punto de vista teórico, se espera que las respuestas incorrectas se distribuyan por igual 
entre los distractores como resultado de atraer por igual a los sujetos que no conocen la 
respuesta correcta. Sin embargo, en la realidad esto es muy difícil que ocurra, puesto que 
unos distractores por representar fallos más comunes son más elegidos que los otros. No 
obstante, en el análisis que debe hacerse de los distractores se deben tener en cuenta los 
siguientes aspectos: 


a) Un distractor debe ser más elegido por el grupo inferior que por el grupo 
superior. 

b) Un distractor que es más elegido por el grupo superior que por el inferior debe 
revisarse o rechazarse pues despista a los mejores alumnos. 

c) Un distractor que apenas es elegido por uno y otro grupo resulta ineficaz, se 
debería revisar o buscar otro con una respuesta más plausible. 

d) Un alto nivel de omisiones en una pregunta normalmente, si no es por razones 
de mala formulación, es indicador de la dificultad subjetiva de dicha pregunta, 
debiéndose revisar el objetivo que representa dicha pregunta. 

e) No hay duda de que la mayor o menor dificultad de una pregunta está, en parte, 
determinada por los distractores. Por ello en las preguntas que han resultado 
muy fáciles, el análisis de los distractores no es si son más o menos elegidos 
por el grupo superior o inferior, sino comprobar que la facilidad de la pregunta 
no sea fruto de la mala redacción o poca congruencia de los distractores con la 
pregunta. 


En los puntos anteriores se han sintetizado las fases y estimaciones más elementales 
en la elaboración de una prueba objetiva. Puede decirse que son las operaciones básicas 
para asegurar un mínimo de calidad en una prueba de rendimiento, tanto formales como 
informales. No obstante, si el evaluador está interesado puede continuar estudiando la 
validez y fiabilidad de la prueba con la aplicación de procedimientos (no necesariamente 
complejos) que puede consultar en las obras especializadas sobre estas técnicas. 


6.1.2. Las pruebas de elaboración de respuestas o de ensayo 


Las pruebas de ensayo son de preguntas abiertas donde la persona elabora y 
estructura su respuesta con total libertad. Deben utilizarse cuando interesa valorar la 
capacidad de las personas para seleccionar y organizar la información, realizar 
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exposiciones utilizando los conceptos y razonamientos propios de la materia, para 
argumentar y valorar situaciones complejas. Según la amplitud de respuesta que exigen, 
se distingue entre pruebas de ensayo amplio o desarrollo de temas y pruebas de ensayo 
restringido o de respuesta corta. 

Las pruebas de ensayo amplio requieren respuestas extensivas y dejan una amplia 
libertad para su contestación. Se deja que la persona seleccione la información que 
considere pertinente y organice la respuesta bajo su propio criterio. Ejemplos de pregunta 
de ensayo amplio son las siguientes: “Describe las características de las distintas 
modalidades de evaluación, ilustrándolas con un ejemplo y señalando sus diferencias”, 
“Compara el modelo de evaluación clásico de Tyler con el modelo de toma de decisiones 
de Stufflembean; señala cuáles son los puntos fuertes y débiles de ambos modelos”. 

Las pruebas de ensayo restringido son más estructuradas que las anteriores y se 
limita, de alguna manera, tanto el contenido como la extensión de la respuesta. Las 
condiciones se expresan en la misma pregunta, en la cual se restringe el tópico a examinar 
y la forma que debe adoptar la respuesta. Ejemplos de preguntas de ensayo restringido 
pueden ser las siguientes: “Describe como mínimo tres características de la evaluación 
diagnóstica”, “Resume en 15 líneas el contenido de este artículo”, “Explica la siguiente 
afirmación en 10 líneas como máximo: un instrumento puede ser muy fiable pero no 
válido”. 

Si bien parece que las preguntas de las pruebas de ensayo parecen fáciles de 
preparar, lo cierto es que se ha de ser muy cuidadoso en su redacción. Una de las 
dificultades mayores de estas pruebas, sobre todo en la de ensayo amplio, es que la 
persona que tiene que responder no comprenda con exactitud el alcance de la pregunta; 
es decir, que su respuesta no sea la adecuada por no saber la amplitud y profundidad de 
la respuesta que considera el profesorado como correcta. 

Otra crítica importante que se hace a este tipo de pruebas se refiere a sus problemas 
de fiabilidad. Problemas derivados de la posible subjetividad en la corrección de las 
respuestas, y problemas derivados de la poca representatividad que tienen como muestra 
de lo que la persona sabe de un ámbito de cono cimiento, sobre todo en el caso de las 
pruebas de ensayo amplio que se limitan a dos o tres preguntas. En el cuadro 6.5 se 
expone una síntesis de las normas que deben observarse para su elaboración y 
corrección. 


6.1.3. Elaboración de pruebas de ejecución o situacionales 


Este tipo de pruebas se caracteriza por intentar simular lo más posible una situación 
real que la persona debe afrontar. Se trata de situaciones que normalmente ponen en 
juego más de una capacidad de la persona. En ocasiones termina con un producto - 
elaborar un informe, presentar un dibujo, resolver un caso, elaborar una pieza, etc.- y, en 
otras, lo importante es valorar la actuación de la persona durante su realización. En el 
cuadro 6.6 se exponen los pasos a seguir en una prueba de ejecución, sea para valorar 
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productos o procesos. Dado que los procedimientos de observación son por excelencia 
los apropiados para registrar y valorar procesos de actuación, y el análisis de contenido 
para la valoración de productos, el lector encontrará en otros epígrafes de este mismo 
capítulo información para su correcta aplicación en situaciones de prueba. 


6.2. Las técnicas de observación 


Los procedimientos de observación comprenden técnicas muy diversas que tienen 
en común describir u obtener información mediante el registro del comportamiento que 
manifiesta más o menos espontáneamente una persona. En estas técnicas, los datos que 
interesan se obtienen a partir de observar intencionadamente la conducta humana y/o sus 
interacciones con el medio. Se distinguen diferentes tipos de observación atendiendo a las 
peculiaridades que adopta el proceso en la práctica. 


a) Según el nivel de sistematización del proceso, se diferencian las tres modalidades 
de observación siguientes: 


Observación no sistemática u ocasional: el registro de los datos es muy 
poco estructurado y se realiza en situaciones poco específicas o fortuitas. 
La observación es abierta, atendiendo a todas las direcciones y a todos los 
comportamientos que el observador considera de interés registrar. El 
registro de los datos es eminentemente de tipo narrativo (diarios, 
anotaciones, anecdóticos, etc.). 

Observación sistematizada o controlada: se caracteriza por estar 
específicamente bien definidas y especificadas las conductas que deben ser 
objeto de observación. El registro de los datos, además de la forma 
narrativa, puede adoptar la forma de listas o escalas de conducta 
generalmente cuantificables (las listas de control y las escalas valorativas 
son las más frecuentes). 

Observación muy sistematizada: presenta, a diferencia de las anteriores, 
un sistema de categorías observacionales muy estructurado, no 
registrándose nada que no caiga dentro de las categorías fijadas. Es un tipo 
de observación más frecuente para objetivos de investigación que de 
evaluación. 


b) Según la fuente de los datos, se distingue entre observación directa y 
observación indirecta. En la primera, se observan y se registran los 
comportamientos en el momento que ocurren y lo hace una persona entrenada 
para ello. En la observación indirecta, la información sobre los 
comportamientos se obtiene a través de lo que el sujeto dice de sí mismo o de 
lo que otros informan sobre él. 
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c) Según el papel que adopta el observador, se diferencia entre observación 
participante y observación no participante. En la primera, el observador es 
una persona más en la dinámica de la situación a observar; en la segunda, el 
observador se mantiene fuera del campo de observación. 


Cuadro 6.5. Normas a observar en el uso de las pruebas de ensayo para reducir 
problemas de validez y fiabilidad. 


NORMAS PARA LA ELABORACIÓN NORMAS PARA LA CORRECCIÓN 


* Preparar un esbozo de la respuesta que 


* Restringir su uso a resultados de cabe esperar en cada una de las 
aprendizaje que no puedan valorarse preguntas. Se especifican los 
con prueba objetiva contenidos que se tendrán en cuenta 


para valorar las preguntas 


+ Formular cada pregunta de manera que 
exprese con claridad el tipo de 
conducta que debe orientar la 
respuesta. De aquí que siempre deban 
utilizarse verbos que expliciten la 


* Determinar qué factores no 
directamente relacionados con la 
temática se tendrán o no en cuenta y 
el peso máximo que se le dará en la 


conducta: “explica...”, “analiza ES E 
; Led B y valoración global: presentación, nivel 
comparativamente...”, “describe. ..”, ón. Jeoibil 
to comia emplee redacción, legibilidad, etc. 
ás 
“enumera...” 


+ Para calificar las preguntas pueden 
utilizarse dos procedimientos distintos: 


a) analítica o por puntos: en el modelo 
de respuesta a la pregunta, se especifica 
la puntuación que se otorgará a cada 
contenido que debe aparecer en la 
respuesta; la puntuación global de la 
pregunta se obtiene sumando sus 
puntuaciones parciales 

b) global: se valora en general la 
respuesta, sin matizar 
puntuaciones por cada aspecto del 
contenido. Se establecen niveles 
de respuesta: por ejemplo, muy 
bueno, bueno, suficiente, flojo, 


+ Hacer algunas precisiones sobre el 
contenido de la pregunta para indicar 
la profundidad y amplitud que se 
espera de la respuesta 
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* Indicar el límite aproximado de tiempo 


o espacio para las preguntas 
(importante en las pruebas de ensayo 
restringido) es un buen indicador del 
nivel de elaboración que se espera de 
la respuesta 


+ Las preguntas pueden tener igual o 


distintos valores en el conjunto de la 
prueba. Si es diferente, indicar su valor 
al lado de la pregunta es también una 
señal del nivel de respuesta que se 
espera 


Fuente: F. Cabrera (1993). 


muy flojo, que pueden traducirse 
o no a puntuaciones numéricas 


+ Para controlar factores extraños que 


pueden distorsionar la respuesta se 
debe calificar de manera anónima y 
mezclar las pruebas para que no 
guarden el orden en que fueron 
entregadas por las personas 


+ Si la decisión a tomar a partir de la 


calificación de la prueba es importante 
para las personas, se aconseja que 
sean calificadas por más de dos 
evaluadores a fin de asegurar la 
estabilidad y consistencia de la 
calificación 


Cuadro 6.6. Normas para elaborar pruebas de ejecución o situacionales. 
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6.2.1. Sistemas de registro de observaciones 


Las formas en que se registran los datos de una observación son muy variadas y 
normalmente se distingue entre registros narrativos y categoriales. 


Registros narrativos Registros categoriales 


* Listas de control o sistemas de 


* Notas de campo . 
signos 
* Diarios 
+ Registros anecdóticos o 
OE ne + Escalas valorativas 
incidentes críticos 
+ Sistemas de categorías 


. Muestras de conductas 


A. Sistemas de registros narrativos 


En los registros observacionales de tipo narrativo, el observador registra sus 
observaciones de forma semejante al trabajo de un reportero. Esto es, reproduce los 
sucesos o conductas dando cuenta de lo ocurrido. Los registros narrativos más frecuentes 
son los siguientes: 


a) Las notas de campo. Propias del observador participante, el cual registra lo que 
ve, siente y vive durante su actividad de recoger datos y reflexionar sobre la 
realidad que observa. Es un tipo de registro que requiere un observador 
entrenado. 

b) Los diarios. Suponen el registro contmuado y secuencial de las conductas de 
una persona O grupo, recogiendo los nuevos avances y logros del 
comportamiento. Son registros de tipo longitudinal y contienen observaciones 
repetidas sobre una misma persona o grupo. Aunque es un tipo de registro muy 
abierto, donde el observador tiene libertad para exponer sus observaciones, es 
aconsejable una mínima estructuración y pautas en función de los objetivos de 
la observación con objeto de facilitar el posterior análisis de los datos. 

c) Los registros anecdóticos o incidentes críticos. Suponen una descripción de 
algún suceso o comportamiento puntual que se considera importante registrar. 
Como su propio nombre indica, se trata de registrar anécdotas o incidentes 
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críticos de interés para los objetivos de la observación. Para registrar se utiliza 
una ficha donde se pueden distinguir al menos tres componentes básicos: datos 
de identificación, descripción del incidente y valoración o interpretación (un 
modelo de ficha se presenta en el cuadro 6.7). El anecdotario es un fichero de 
anécdotas sobre una conducta particular de una misma persona o evento. 

En los registros anecdóticos se debe separar claramente la descripción de 
los hechos tal como sucedieron de la interpretación personal que el observador 
puede hacer de ellos. 

d) Descripción de muestras de conducta. Supone una transcripción lo más 
detallada, precisa y completa posible de un episodio o escena. La tarea del 
observador (de aquí que no pueda ser participante) es registrar todo lo que 
puede sobre lo que está sucediendo y sobre el contexto en el que sucede según 
un criterio previamente establecido (personas, horas, lugares, etc.). Se debe 
anotar la conducta y su contexto con bastante detalle, de modo que el lector 
pueda imaginar el contexto y la escena. 


Cuadro 6.7. Modelo de ficha para el registro de anécdotas. 


Crono. nonnonooernoooronoprsrsncrrrrsrssrrrnnrsr9.<.s$rooorssosnrrnsnrrrrrncsrsssanas.nn..nnnoor.osaron.oo.o.s 


Porro rsnsrrorrnrnrrnnormorssnooresrsrrnnnnonnnnroncnrron9orssrrnnooopoonpoosoroscrrrnnnnrnonnnnoorrsn..oo.os 


Parco nonnrossariannon.npnnrrrrrnsnnonnoesnnnrssrrrnrnnrrssrannnnnrrnnnroonnorso.prr.nsrsrarrrsss.n.o.oo.. 


....nnronorrsnpnrrr.r.rrrrrnanonsoooo.. rro. .ossressssrrranssononp9oososscrsancrrsoonn$orpo..rrrcsaransss..oo..s 


Estos tipos de registros narrativos, por la misma forma en que se registran las 
observaciones, deberán posteriormente sufrir un proceso de análisis de contenido a fin 
de obtener un cuadro general y una interpretación de los resultados que se desprenden de 
las observaciones y datos recogidos en los registros. 


B. Sistemas de registros categoriales 


Estos sistemas de registros también se conocen como registros cerrados en el sentido 
de que el observador dispone de un listado o catálogo de conductas a observar. Este 
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listado de conductas está preparado de antemano, con anterioridad a la observación. La 
observación se limita a identificar y registrar las conductas prefijadas. Las formas que 
pueden adoptar estos registros son: las escalas valorativas, las listas de control y los 
sistemas de categorías. 


Escalas valorativas 


Consisten en un conjunto de características o cualidades por juzgar acompañadas 
con algún tipo de escala para indicar la frecuencia o intensidad en la que se presentan. 
Las escalas dirigen la observación hacia aspectos específicos y claramente definidos ya 
que indican los comportamientos particulares que serán objeto de valoración. 
Representan registros fáciles y rápidos para resumir las impresiones de las observaciones 
y registrar juicios valorativos. Pueden utilizarse durante la situación de observación, esto 
es, en tiempo real; o bien al final de un período de observación para resumir las 
observaciones directas. En el cuadro 6.8 se exponen los distintos tipos de escalas 
valorativas. 


Cuadro 6.8. Tipo de escalas valorativas. 


Escalas numéricas 


Descripción: La valoración del rasgo o conducta viene expresado por un número, de acuerdo con una 
equivalencia establecida. El observador sólo indica el número que considera el nivel en que se presenta la 
conducta 


Ejemplo: Indique el grado en que la persona contribuye a las discusiones del grupo encerrando en un circulo el 
número apropiado (1: insatisfactorio/nada o muy poco y 5: excelente/mucho) 


1. ¿Hasta qué punto el alumno participa en las 
discusiones? 

2. ¿Hasta quée punto sus comentarios se 
relacionan con los tópicos que se discuten? 

3. Ele, 


12345 


2345 


Valoración: Estos tipos de escalas son fáciles de elaborar pero sólo son útiles cuando hay consenso general sobre 
lo que representa cada número de la escala. 
Escalas gráficas 


Descripción: A diferencia de la anterior, en lugar de utilizar números como valores escalares, utilizan una línea 
gráfica donde se determinan algunos puntos del continuo. El observador marca su observación en el lugar 
adecuado de la línea. 


Ejemplo: Indique el grado en que la persona contribuye a las discusiones colocando una X en un punto cualquiera 
de la escala 
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1. ¿Hasta qué punto el alumno participa en las discusiones? 
A | 
nunca rara vez ocasionalmente con frecuencia siempre 
2. ¿Hasta qué punto sus comentarios se relacionan con los tópicos que se discuten? 
— 
nunca rara vez ocasionalmente con frecuencia siempre 
3. El, 


Valoración: Posibilita marcar entre categorías, discriminándose mejor el nivel de la conducta que se observa. 
Posteriormente las marcas se pueden convertir en valores numéricos o calificaciones. 
Escalas descriptivas 


Descripción: Se describen las conductas que representan distintos niveles de la escala, normalmente el inferior, el 
medio y el superior. 


Ejemplo de escala descriptiva y, a la vez, numérico-gráfica: Califique las siguientes características encerrando 
con un circulo el número o si lo prefiere marcando con una X sobre la línea horizontal 


1. ¿Hasta qué punto la persona participa en las discusiones? 


1 2 3 4 5 
Nunca participa Participa tanto como Muy activo 
Callado, pasivo cualquier otro miembro Participa más que 
del grupo la media del grupo 


2. ¿Hasta que punto sus comentarios se relacionan con los tópicos que se discuten? 


1 2 a 4 3 
Sus comentarios son Usualmente son Están siempre 
sin ton ni son, distraen pertinentes, en ocasiones relacionados con 
y apartan del tema se apartan del tema el tema que se trata 


Valoración: es el tipo de escala más satisfactoria puesto que exige una especificación de los comportamientos que 
representan cada grado de la escala. Se asegura una mayor objetividad y precisión en el proceso de valoración de 
los comportamientos. 


Los pasos para elaborar una escala valorativa se recogen en el cuadro 6.9. 


La lista de control o sistema de signo 


Este tipo de registro es semejante en apariencia y uso a las escalas valorativas, se 
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diferencia en el tipo de juicio que se pide. En las listas de control, como se observa en el 
cuadro 6.10, el observador sólo debe indicar, para cada característica de la escala, su 
presencia o ausencia utilizando algún sistema de signo (un sí o un no, por ejemplo). Es 
un procedimiento útil cuando sólo interesa registrar si un atributo o comportamiento está 
presente o ausente, o si se efectuó o no se llevó a cabo; no se aconseja cuando la 
intensidad o frecuencia con que ocurren las cosas constituyen aspectos importantes de la 
evaluación. Es particularmente útil para evaluar destrezas relativas a una actuación que 
puede dividirse en una serie de pasos o actos específicos claramente definidos. El 
proceso de elaboración es semejante al descrito para las escalas valorativas; cuando se 
trata de valorar una destreza que se puede secuenciar por sus actos, la lista de control se 
elabora teniendo en cuenta los siguientes pasos: 


Cuadro 6.9. Ejemplo de elaboración de una escala valorativa para valorar la 
integración del alumnado en las sesiones de formación. 
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l. Identificar y describir con claridad cada uno de los actos específicos que se 
desean en la actuación. 

2. Añadir a la lista aquellos actos que representan errores comunes. 

3. Ordenar los actos que se desean y los errores probables en el orden aproximado 
en que se espera que ocurran. 

4. Construir la lista de control utilizando un procedimiento sencillo para señalar la 
ocurrencia de los actos. 


Cuadro 6.10. Ejemplo de lista de control para evaluar el uso de un microscopio. 


e Toma el portaobjeto 

e Limpia el portaobjeto con papel para limpiar lentes 

e Limpia el portaobjeto con la yema de los dedos 

e Coloca una o dos gotas de cultivo sobre el portaobjeto 
e Añade más cultivo 

e Añade unas cuantas gotas de agua 

e Busca cubreobjeto 

e Limpia cubreobjeto con papel para limpiar lentes 

e Limpia cubreobjeto con la yema de los dedos 


e Ajusta la tapa con los dedos 


Fuente: Ejemplo adaptado de Grondlund (1971). 


Los registros de categorías 


Contienen categorías prefijadas de manera que toda conducta manifestada se ha de 
registrar en una de las categorías. Las categorías deben ser exhaustivas respecto a todas 
las clases de conductas que pueden darse en la situación de observación. Esto marca una 
clara diferencia respecto a las listas de control y escalas valorativas, en las que las 
conductas del listado no tienen que ser todas las que se pueden manifestar o dar en la 
situación de observación. Además, este tipo de registro se utiliza en procesos de 
observación directa, a diferencia de los dos anteriores que también pueden utilizarse para 
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observaciones indirectas o resumir observaciones fuera de la situación de observación. 
Los sistemas de categorías exigen un plan muy riguroso de elaboración a fin de justificar 
su consistencia y validez. Es un tipo de registro que se utiliza más en procesos de 
investigación que de evaluación; en evaluación son más frecuentes las listas de control, 
las escalas valorativas o los registros de tipo narrativo. 


6.2.2. Planificación de la observación 


Una recogida de información a través de un proceso observacional implica planificar 
una serie de pasos. Esta planificación se concreta de diferente manera según la modalidad 
de observación que se realice; es decir, según sea participante o no, según el nivel de 
sistematización que se pretenda del proceso, etc. No obstante estas diferencias, algunos 
elementos que en mayor o menor medida están presentes en cualquier proceso de 
observación son: 


l. Establecer la finalidad y objetivos de la observación. Un primer paso 
importante en todo proceso de observación consiste en determinar con 
exactitud “lo que se va a observar”. Esto que puede parecer obvio no lo es. 
Piénsese, por ejemplo, que se desea observar el “nivel de cooperación” de una 
persona. La primera cuestión que se plantea es: ¿qué se entiende por 
cooperación?, si la persona se encuentra siempre rodeada de compañeros o 
compañeras ¿será válido pensar que muestra una conducta cooperadora? La 
determinación clara y precisa de lo que va a ser objeto de observación exige 
que sea definido con precisión y sin ambigúedades. Por ejemplo, una 
definición observable del término “cooperación” puede ser: “Aceptación de las 
formas en que los demás afrontan los problemas, de sus sugerencias e ideas, 
trabajar con armonía con otros en el logro de alguna meta en común”. 

2. Determinar los comportamientos que van a observarse. Una buena definición 
de lo que se desea observar facilita la concreción de las categorías de 
conductas que serán objeto de registro. Un mismo objetivo a estudiar puede 
ser representado por conductas diferentes dependiendo de cómo se haya 
definido. Siguiendo con el ejemplo anterior, según la definición dada sobre 
“cooperación”, se desprenden, al menos, dos categorías de conductas: a) “la 
aceptación de los puntos de vista de los demás”; y b) “el trabajo en armonía en 
la consecución de una meta en común”. La definición de los atributos a 
observar y la determinación de sus comportamientos observables a menudo es 
un proceso interactivo donde una definición se mejora a medida que se 
estudian los comportamientos que la manifiestan; de la misma manera que un 
sistema de registros de observaciones se modifica cuando se perfeccionan los 
comportamientos que representan al atributo que se desea observar. 

3. Selección del sistema de registro de observaciones. En congruencia con los 
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objetivos y las conductas específicas que serán objeto de observación, se 
determina el sistema más apropiado para registrar las observaciones. Cuando 
no existe un objetivo concreto que observar se utilizan fundamentalmente los 
registros de tipo narrativo: el observador registra todo lo que le parece de 
interés. A este tipo de observación suele denominarse como “exploratorias”, a 
partir de ellas se delimitan y concretizan objetivos que posteriormente serán 
objeto de una observación más sistemática, utilizándose registros más cerrados 
(escalas de valoración, por ejemplo), además de los narrativos si interesa 
continuar con ello. 

Objeto de la observación. Toda observación tiene un centro de interés a ser 
observado. Este puede ser el comportamiento de una persona, las actividades 
de un grupo, el uso de unos materiales o instrumentos, etc. Se debe determinar 
con precisión cuál será el objeto en el que se centrará la observación y sobre el 
que se tomarán los datos. 

Temporalización de la observación. Es necesario determinar durante qué 
período de tiempo se va a llevar a cabo la observación. De tal forma que el 
registro de observaciones tiene una fecha de inicio y final de observación. Se 
pueden determinar períodos de observación diferentes obteniéndose registros 
secuenciales que proporcionan datos sobre la evolución de una persona, un 
grupo o un acontecimiento. 

Condiciones de la observación. Establecer las características relevantes en las 
que tendrá lugar la observación. El lugar donde se llevará a cabo y las posibles 
restricciones que se han de tener en cuenta como condicionantes de la 
situación de observación. También se debe prever cualquier material o recurso 
que sea necesario utilizar en la situación de observación. 

Formación del observador. Determinar quién llevará a cabo la observación así 
como la necesidad o no de una formación específica para asegurar la fiabilidad 
de la recogida de datos. Esta formación dependerá de la complejidad de la 
técnica de registro a utilizar y de los propósitos de la observación. Si es 
importante asegurar la exactitud y precisión de las observaciones, se puede 
estimar algún índice de acuerdo entre dos o más observadores con el fin de 
garantizar la fiabilidad de la observación. 

Análisis e interpretación de los datos observados. Los comportamientos o 
acontecimientos registrados deben ser categorizados y procesados de forma 
sistemática para obtener alguna conclusión de los datos. Para sistematizar y 
resumir las observaciones de los registros narrativos será necesario aplicar las 
técnicas del análisis de contenido. Si se han utilizado sistemas de registros más 
cerrados, el análisis de los datos es mucho más directo. El análisis de las 
observaciones cuando obedece a propósitos de evaluación es bastante más 
sencillo que cuando se trata de una investigación. Una representación gráfica 
de los resultados proporciona en muchas ocasiones la vía más útil para 
expresar las frecuencias de ocurrencias de los comportamientos o las 
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puntuaciones de la escala. 


6.2.3. Las fuentes de error en la observación 


La observación como procedimiento de evaluación presenta algunos problemas muy 
específicos derivados de las tres fuentes de error siguientes: 


— Errores procedentes de la/s persondis observadals. Recibe el nombre de 
reactividad y se refiere a la modificación que la persona hace de su conducta 
por el solo hecho de saberse observado. Es un error más frecuente en la 
observación no participante que en la participante. Como alternativa se 
aconseja crear condiciones de observación lo más naturales posible y, cuando 
se hace la observación en tiempo real, prever un período de tiempo de 
adaptación a la situación. 

— Errores procedentes del observador. Las principales dificultades metodológicas 
de la observación provienen del propio observador. Entre estos errores 
destacan los siguientes: 


*+ Efecto de halo: tendencia de evaluar aspectos parciales de la persona 
guiándose por la impresión que se tiene de ella. 

+ Efecto de valoración estereotipada: tendencia que tienen algunos 
observadores a dar puntuaciones bajas, o a dar puntuaciones altas o a 
evitar juicios extremos buscando un punto intermedio en la escala. 

.  Fluctuaciones del observador: cambios en el estado de ánimo, atención, etc. 
durante el proceso de observación que afecta a la recogida de información. 


Una formación adecuada del observador es la mejor alternativa para limitar la 
influencia de estos errores. 


— Errores procedentes del sistema de observación. Estos errores derivan sobre 
todo del sistema de registro de datos que se utilice, de la manera como se han 
categorizado las conductas a observar, el tiempo seleccionado para la 
observación y las condiciones que rodean la situación de observación. La 
manera mejor de afrontar estos problemas consiste en disponer de una buena 
formulación de los objetivos de la observación, de una cuidadosa elaboración 
de las categorías de comportamientos que serán objeto de registro y de utilizar 
un sistema de registro ajustado al contexto donde se aplica. 


6.3. Las escalas de actitudes 
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Existen muchas definiciones del concepto “actitud”. Todas coinciden en considerar 
la actitud como una predisposición de la persona a reaccionar o responder de una manera 
determinada ante hechos, fenómenos u otras personas. Es una “disposición hacia” o 
“tendencia a” relativamente estable en la persona pero no invariable; no cambian 
fácilmente pero tampoco son inmutables. Es un rasgo individual que engloba aspectos 
tales como sentimientos, prejuicios, ideas preconcebidas que cristalizan en un 
comportamiento determinado. 

Se reconoce que la actitud la conforman tres componentes: uno de naturaleza 
cognitiva (lo que la persona piensa u opina sobre el hecho o acontecimiento en cuestión), 
otro de carácter afectivo (los sentimientos y emociones que le despierta o provoca) y otro 
de tipo comportamental (los estímulos que le produce para actuar de una manera 
determinada). En otros términos, la persona expresa su actitud por lo que piensa, siente y 
se comporta respecto a los hechos u otras personas. De estos componentes, el afectivo 
es el más costoso de modificar y es donde se encuentran las mayores resistencias al 
cambio. 

Los procedimientos para recoger información sobre las actitudes de las personas son 
básicamente la observación directa, las entrevistas, los cuestionarios y las escalas de 
actitudes. Mediante la observación se puede conocer cómo la persona se expresa, se 
conduce, actúa, etc. respecto al objeto de estudio. Con la entrevista y el cuestionario se 
accede, mediante las preguntas (orales o escritas) que se formulan, a lo que la persona 
piensa y dice sentir sobre el objeto de la actitud que se trate. En las escalas de actitudes, 
basadas también en preguntas que se le formulen, la persona queda situada dentro de un 
continuo de mayor a menor grado de favorabilidad respecto al objeto de interés. De estos 
tres procedimientos, las escalas de actitudes son las más precisas para obtener 
información sobre la actitud de la persona hacia un objeto determinado, e identificar si se 
sitúa en una posición más positiva que negativa o neutra. 

Existen diferentes técnicas para elaborar escalas de actitudes que dan lugar también a 
procedimientos escalares distintos; si bien, no todas tienen la misma amplitud de uso ni 
igual dificultad en su construcción. Teniéndose presente las intenciones de esta obra, se 
expondrán las dos de mayor uso y facilidad de elaboración. Éstas son: las escalas tipo 
Likert y las escalas de diferencial semántico de Osgood. Con el fin de acercar a la 
persona no especializada los principios de elaboración de estas escalas, se ha optado por 
simplificar el proceso pero sin que por ello pierda el rigor metodológico necesario para 
garantizar la validez y fiabilidad de la información. 


6.3.1. Escala tipo Likert 


Esta escala debe su nombre a Likert por ser la persona que por primera vez la 
desarrolló, en el año 1932. Está formada por una serie de frases que expresan juicios, 
positivos y negativos. Para cada juicio, la persona debe expresar su nivel de acuerdo con 
el contenido de la frase, utilizando para ello una escala de puntos (desde estar totalmente 
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de acuerdo a estar totalmente en desacuerdo con el juicio). Posiblemente sea el tipo de 
escala que con mayor frecuencia se usa puesto que su elaboración es bastante sencilla. 
Los pasos para elaborar esta escala son los siguientes: 


1.2 Elaborar juicios positivos y negativos 


Se deben elaborar frases que expresen juicios de valor positivos y negativos en 
número semejante. Aunque desde la teoría lo ideal es elaborar en torno a 35-40 juicios, 
la realidad demuestra que un número cercano a 22 o 26 frases (11-13 de cada signo) es 
suficiente. No debe caerse en el error de que la frase exprese un hecho, debe expresar un 
juicio de valor con el que se puede estar de acuerdo o no; con un hecho siempre se está 
de acuerdo y, por consiguiente, no es indicador de ninguna actitud. 

Así, por ejemplo, en una escala de actitud hacia la pena de muerte, juicios positivos, 
es decir, favorables a la pena de muerte, pueden ser los siguientes: “la pena de muerte 
serviría de escarmiento para potenciales criminales”, “quien atenta contra la vida no 
debería tener derecho a ella”, “la pena de muerte no es algo necesariamente malo”. 
Juicios negativos o desfavorables pueden ser: “la pena de muerte en realidad también es 
un asesinato”, “la pena de muerte es vergonzosa para una sociedad”, “la pena de muerte 
no soluciona nada”. En cambio, las siguientes frases son hechos: “la pena de muerte es 
legal en algunos países”, “la pena de muerte implica aceptar distintas maneras de matar a 
una persona”. 

Para elaborar los juicios es necesario conocer el objeto de la actitud. Se identifican 
aspectos o dimensiones que dan razón a argumentos a favor y a argumentos en contra. 
Este conocimiento facilitará que se elaboren juicios significativos y relevantes. 


2.” Elaboración de la escala provisional 


Se trata de ordenar al azar las frases o juicios redactados y decidir el número de 
grados que tendrá la escala donde la persona expresará su nivel de acuerdo con el juicio 
(en cuadro 6.11 se expone un modelo de escala). Lo más frecuente es utilizar una escala 
de 5 o 6 puntos que van desde lo más favorable a lo menos favorable. En una escala par 
no existe la posición intermedia y se fuerza a la persona a decantarse por uno u otro polo 
del juicio. Ejemplos de escalones para estas escalas pueden ser los siguientes: 


Escala de 5 puntos Escala de 6 puntos 

5 Totalmente de acuerdo 6 Completamente de acuerdo 

4 Más bien de acuerdo 5 Fundamentalmente de acuerdo 

3 Indeciso o neutral 4 Ligeramente de acuerdo 

2 Más bien en desacuerdo 3 Ligeramente en desacuerdo 

1 Totalmente en desacuerdo 2 Fundamentalmente en desacuerdo 
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1 Completamente en desacuerdo 


3.” Aplicación piloto de la escala 


Una vez elaborada la escala, se aplica a un grupo de personas de características 
similares a las que se dirige la escala; no es necesario un número muy grande, pero sí 
suficiente para que se pueda realizar un análisis válido. 


Cuadro 6.11. Ejemplo de una escala de actitudes. 


216 


Título ESCALA DE ACTITUD HACIA LA PENA DE MUERTE 
Identificación 0 RE AAN Unidad ........ Fecha...... 


Motivos Realizamos un estudio sobre la pena de muerte y 
le agradeceríamos su colaboración respondiendo 
a las afirmaciones siguientes, 


Significado y sentido Exprese su actitud marcando en la casilla 
de los valores de la escala | correspondiente, siendo: 
e A Totalmente de acuerdo 
e B Más bien de acuerdo 
e C- Indeciso o neutral 
e D Más bien en desacuerdo 
e E Totalmente en desacuerdo 


Orden al azar 
A favor de la P. de M. (+) . Serviría de escarmiento para 
potenciales criminales. 


En contra de la P, de M. (-) . La pena de muerte no soluciona 
nada. 


A favor de la P. de M. (+) . Quien atenta contra la vida no 
debería tener derecho a ella. 


A favor de la P. de M. (+) . La pena de muerte no es algo 
necesariamente malo. 


En contra de la P, de M. (-) . La pena de muerte en realidad 
también es un asesinato. 


En contra de la P. de M. (-) . La pena de muerte es vergonzosa 
para una sociedad. 


4.” Puntuación de los juicios y obtención de la puntuación total para cada persona 
Una vez aplicada la escala, se procede a obtener la puntuación total de la persona a 


partir de sus respuestas a los juicios positivos y negativos. La persona tendrá una 
puntuación en cada juicio y la suma de estas puntuaciones parciales será su puntuación 
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total. Los juicios positivos y negativos se puntúan de manera inversa, es decir, de la 
manera siguiente cuando se trata, por ejemplo, de una graduación de 5 puntos: 


Juicios positivos Puntos Juicios negativos Puntos 
Totalmente de acuerdo 5 Totalmente de acuerdo 1 
Más bien de acuerdo 4 Más bien de acuerdo 2 
Indeciso o neutral 3 Indeciso o neutral 3 
Más bien en desacuerdo 2 Más bien en desacuerdo 4 
Totalmente en desacuerdo 1 Totalmente en desacuerdo 5 


Según la graduación expuesta, la puntuación máxima en un juicio es de 5 y la 
mínima es de 1. Por consiguiente, una escala que, por ejemplo, tuviera 20 juicios, la 
puntuación que puede obtener una persona oscilaría desde un máximo de favorabilidad 
igual a 100 (5 x 20) y un mínimo de 20 (1 x 20); si la puntuación es de 60 representa 
una actitud intermedia, neutral o indecisa; toda puntuación inferior a 60 tenderá a ser una 
actitud desfavorable hacia el objeto de estudio a medida que se acerque a 20 y, por el 
contrario, si tiende a subir hacia 100 representará una posición favorable. 

Así, en el ejemplo expuesto en el cuadro 6.11, referente a la actitud ante la pena de 
muerte, si la escala estuviera confeccionada con sólo los 6 ítems cuyas respuestas se 
marcan a título del ejemplo, la puntuación total de la persona es de 15; a saber, 6 (de los 
juicios positivos a favor de la pena de muerte: 2 + 1 + 3) más 5 (de los juicios negativos 
o en contra de la pena de muerte: 2 + 2 +1). Considerando que la puntuación máxima 
representativa de una actitud totalmente favorable a la pena de muerte sería de 30 (6 x 5) 
y la de una actitud totalmente en contra es de 6 (6 x 1), la puntuación de 11 obtenida se 
sitúa en la banda inferior, claramente por debajo de una actitud neutral (que sería de 18). 
Puede decirse que se trata de una persona con una actitud bastante en contra de la pena 
de muerte. 


5.2 Selección de los mejores juicios para elaborar la versión definitiva de la escala 


Una vez aplicada la escala, se analizan los juicios con el fin de seleccionar los 
mejores, esto es, los más discriminativos porque contribuyen a diferenciar a las personas 
que tienen una actitud favorable de aquellas que la tienen desfavorable o en contra. Para 
llevar a cabo esta selección pueden utilizarse procedimientos de análisis estadísticos de 
mayor o menor complejidad. Para los fines de esta obra, se expone a continuación una 
manera sencilla de realizar esta selección, sin necesidad de hacer complejos cálculos 
estadísticos. En la tabla 6.3 se ilustra el proceso con un ejemplo de análisis de una 
supuesta escala de 6 juicios aplicada a 8 personas. 


Tabla 6.3. Análisis de juicios en la escala tipo Likert. 
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Puntuación en los A 
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Los mejores juicios son los números 1, 2, 5 y 6; los 3 y 4 deben revisarse o rechazarse. 


Tal como se muestra en tabla 6.3, se divide a las personas a las que se les ha 
aplicado la escala en dos subgrupos iguales: uno lo forman el 50% de las personas que 
han obtenido en la escala las puntuaciones totales más altas, por consiguiente representan 
al grupo con las actitudes más favorables; el otro subgrupo lo conforma el 50% restante, 
es decir las que obtienen las puntuaciones inferiores y las actitudes más desfavorables. 
Para hacer esta división es necesario primero obtener la puntuación total obtenida por 
cada persona y luego ordenarlas de mayor a menor puntuación; la primera mitad 
constituye el grupo con actitud favorable (grupo superior) y la otra mitad el de actitud 
desfavorable (grupo inferior). Recuérdese que similar procedimiento se describió en el 
análisis de las preguntas de una prueba objetiva en este mismo capítulo. Se confecciona 
una tabla, en su margen superior se colocan los juicios y en el margen izquierdo las 
personas a las que se les ha aplicado la escala, ordenadas por su puntuación total, 
comenzando por la que ha obtenido mayor puntuación. En las celdillas centrales de la 
tabla se colocan las puntuaciones obtenidas por cada persona en los juicios, teniendo en 
cuenta que los juicios negativos se puntúan a la inversa que los positivos. 

Una vez que todas las respuestas han sido colocadas en la tabla, se analiza cómo ha 
respondido cada grupo a cada uno de los juicios. Para hacer este análisis se puede 
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calcular para cada juicio el promedio que obtiene el grupo superior y el promedio que 
obtiene el grupo inferior. Se comparan ambos promedios y cuanto mayor sea la 
diferencia más discriminativo es el juicio; se supone que un buen juicio es aquel en el que 
la puntuación media del grupo superior en el juicio es mayor que la del grupo inferior. Se 
deben rechazar o revisar aquellos juicios donde no haya diferencia entre ambas medias o 
si ésta fuera negativa, es decir, que el grupo inferior tiene una media en el juicio más alta 
que el grupo superior. Caso de disponerse de los conocimientos estadísticos necesarios, 
para realizar una selección con mayor rigor puede aplicarse la £ de Student-Fisher para 
comprobar la significación estadística de las diferencias entre las medias. 

Una vez analizados y seleccionados los juicios mejores se elabora la versión 
definitiva de la escala y ya estará lista para aplicar a la población de interés. En torno a 
20 es el número de juicios finales que se aconseja que tenga la escala en su versión final. 


6.3.2. Diferencial semántico de Osgood 


La escala del diferencial semántico es un tipo de escala de estructura muy sencilla y 
flexible, lo que hace muy asequible su aplicación. Fue propuesta por Osgood y sus 
colaboradores y se basa en la idea de que las personas utilizan adjetivos para expresar sus 
valoraciones. Una forma de conocer el significado connotativo, es decir, afectivo que 
tiene la persona sobre un hecho, objeto u otra persona, es identificar cómo lo califica. El 
procedimiento consiste en elaborar escalas bipolares de adjetivos antónimos (bueno- 
malo, abierto-cerrado, etc.) en los que la persona señala su posición situándose más cerca 
de un polo u otro según califique al objeto en cuestión; esta calificación representa la 
imagen que la persona tiene del objeto e, indirectamente, de su actitud hacia él. 

Su elaboración es muy sencilla y básicamente comprende los siguientes pasos: 


l. Delimitar el objeto de la actitud y preparación de una lista de adjetivos con 
sus antónimos 


Se debe delimitar con claridad el objeto de la actitud. A veces pueden delimitarse 
subáreas o subdominios que permitirían un análisis más detallado de la actitud. El 
ejemplo que se presenta en el cuadro 6.12 se refiere a una posible escala para valorar la 
imagen que se tiene de una organización. Se han distinguido cinco campos de análisis: 
estructura, ambiente, estilo de gestión y comunicación, atendiendo al trabajo de Knowles 
(1990) sobre la naturaleza de las organizaciones innovadoras. 

Una vez delimitado el objeto de la actitud, se elabora un listado de adjetivos con sus 
respectivos antónimos. Cuando el opuesto a un adjetivo no está fácilmente disponible, se 
pueden generar algunos adjetivos con los prefijos “des-”, “in-” o “a-” (cuidado- 
descuidado; moral amoral; conformista-inconformista). Los estudios realizados sobre este 
tipo de escala señalan algunos adjetivos que han resultado especialmente útiles para 
muchos objetos de actitud. Estos adjetivos hacen referencia a las dimensiones que se 
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exponen en el cuadro 6.13. 


2. Elaboración de la escala 


Una vez seleccionados los pares de adjetivos que constituirán la escala, se determina 
el número de puntos que tendrán las escalas de cada par. El número de grados más usual 
para estas escalas es el de 7 escalones; pueden también utilizarse 6 u 8 si se desea que no 
haya una posición intermedia para forzar que la persona se decante por uno u otro polo. 
Cuando se confecciona el protocolo de la escala, aunque se puede presentar una escala 
numérica, se aconseja hacerla de forma gráfica, tal como se muestra en el ejemplo del 
cuadro 6.12: hay 7 casillas perfectamente iguales donde la persona marcará con una cruz 
para cada par de adjetivos su posición, más a la derecha o más a la izquierda según la 
calificación que le merece el objeto en estudio, sin indicar ningún valor en la escala. 

Para elaborar el protocolo de la escala se aconseja tener en cuenta los aspectos 
reseñados en las escalas tipo Likert (cuadro 6.11). Para la colocación de los pares de 
adjetivos se puede optar por colocar en el mismo margen todos los del mismo signo; tal 
como se ha hecho en la escala del ejemplo del cuadro 6.12; donde todos los adjetivos 
que representan una organización innovadora se han colocado en el margen derecho, y 
en el izquierdo los de una tradicional. Esta colocación tiene la ventaja de facilitar la 
interpretación de las respuestas, sobre todo si se elabora un perfil; tiene el inconveniente 
de hacer muy evidente la intencionalidad de los adjetivos y su efecto en las respuestas de 
la persona por procurar “quedar bien”. También se pueden distribuir al azar los adjetivos 
que van en uno u otro polo, de tal manera que en un mismo margen puede haber 
calificaciones positivas y negativas; esta colocación salva el inconveniente señalado 
anteriormente pero limita la rápida interpretación de los resultados, además requeriría 
elaborar una plantilla de corrección que indicara el signo de los adjetivos. 


Cuadro 6.12. Ejemplo de escala diferencial semántico y corrección. 
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La organización de su Centro le parece: 


Coloque una cruz en la casilla que corresponda a su opinión 


ESTRUCTURA Rígida Flexible 
Tradicional Innovadora 

Punt. Máxima = 28 Normativista Pragmática 

Pun. Mínima = 4 Vertical Horizontal 


AMBIENTE Y Orientada Orientada a 
COMUNICACIÓN a la tarea la persona 
Fría | | Cálida 
Punt. Máxima = 28 Desconfianza Confianza 
Pun. Mínima = 4 Cerrada Abierta 


GESTIÓN Y TOMA Coercitiva 
DE DECISIONES Conservadora 
Punt. Máxima = 28 Selectiva 
Pun. Mínima = 4 Intolerante 


Permisiva 
Arriesgada 
Extendida 
Tolerante 


CORRECCIÓN 
Valores de los escalones 


rfafafajs lo]? 


ESTRUCTURA — 21 

AMBIENTE Y COMUNICACIÓN — 21 
GESTIÓN Y TOMA DE DECISIONES 18 
TOTAL 60 


3. Corrección y elaboración de perfiles 


La escala se corrige de similar manera que la de tipo Likert. Es decir, si es de siete 
escalones, por ejemplo, la puntuación para cada par de adjetivos va desde 7, para el 
adjetivo más favorable, hasta 1, que se sitúa en el adjetivo opuesto. Así, la puntuación 
máxima total de la escala será de 7 por el número de pares totales de adjetivos, y el 
mínimo será el número total de pares de adjetivos. En el ejemplo, la puntuación máxima 
que puede obtener una persona sería de 84 (7 x 12) y representaría una imagen muy 
positiva sobre el centro como organización innovadora; la puntuación mínima es 12 y 
representa una imagen negativa del centro respecto a su dinamismo, se percibe como una 
organización tradicional y estática; además, como puede observarse en el ejemplo, se 
pueden obtener puntuaciones parciales aplicando la misma lógica de corrección. Una vez 
que la persona ha marcado sus respuestas, su puntuación total es la suma de las 
puntuaciones obtenidas para cada par de adjetivos. 
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Cuadro 6.13. Pares de adjectivos útiles para elaborar escalas de diferencial 
semántico. 


223 


A A PP ¿[rr 


2/qOd-091, 
OueÍa|-OULIJ99 
OPp?e.JJ39-OJ191qe 
OPe19e/859p-z1]9J 
[1IP-115p) 

0p!811-3/q)Xa|y 
9|qesuodsa.11-3]qesuodsas 
¡Qu1JOJUl-¡euIJO] 


Je1]1uuej OU-181]1U1ey 


ofa¡dwo3-a¡duurs 


9/q/D3padu!-3/q1dapaud 


0soz3Jad-J0pefeqe,) 
9d/0]-0]51| 
011J-3JU91/89 
0]u3|-opide, 
o¡¡nbue-osonjaduu! 
Opeu|e9-3/qe 9x3 


O|OA9UIQ-OJIADS 
ousnbad-apue/3 
Ope)91¡ap-oJadse 
opegjap-osani3 

0931/-Opesad 


0]59UOYS2P-0]S9UOY 
OP11INQE-3]URSaJaJul 
9/QR199.1dS9p-0SO!|BA 


OA!JeB3U-0ANISOH 
OS|BJ-OJOPepIaa 
0]u0]-01Q8s 
ojsn(ur-o3snÍ 
019nS-O1dUII| 
0JNIS0-OSOUIUN| 
¡9n19-osopepuoq 


9|QRID0SUI-3|qR190S 


091JP190U19P-O1JeJLOne OSNJUOI-OJ|) opefejas-osua] 9Aens-OJImp  Oja¡duwodui-oj9¡duloo 
PJ5159/801d-|euO/DIpe) ¡BuUJOUe-|euJOU OAISed-OA1De |Iq9p-auany o¡eu-ouanq 
SOINY1JOSIW OVOlAVIINWVA AVOlALLOV VIONILOd NOVIO TIVA 


A ¡| A 


224 


Si se unen con un trazo las marcas, se obtiene una imagen gráfica de la posición de 
la persona respecto al objeto de estudio; se evidencia con rapidez su situación en el caso 
de que todos los adjetivos de igual signo estén colocados en el mismo margen. Estos 
perfiles pueden calcularse también para grupos de personas. En este caso, se estima la 
medida del grupo para cada par de adjetivos. El perfil es un procedimiento rápido para 
realizar comparaciones: comparar a distintos grupos en la misma actitud, al mismo grupo 
a lo largo del tiempo o en distintas actitudes. 

Si se desea estudiar la validez de los adjetivos se puede seguir el mismo 
procedimiento descrito en la elaboración de una escala tipo Likert para la selección de los 
mejores juicios. Se elaboran más de los adjetivos previstos y según los resultados del 
análisis se seleccionan los mejores. 


6.4. El cuestionario 


La técnica del cuestionario posiblemente sea la de mayor uso en la evaluación de la 
formación. Consiste en un conjunto de preguntas que de forma sistemática y ordenada 
permite recoger información sobre las percepciones, actitudes, opiniones y características 
de las personas. Su administración puede ser distinta según se aplica de manera individual 
o en grupo, y según se realice por escrito, por correo o por teléfono. 


6.4.1. Proceso de elaboración de un cuestionario 
Existen distintas maneras de presentar los pasos que implica la elaboración de un 
cuestionario que responda a unos criterios de calidad. En el cuadro 6.14 se expone una 


propuesta de las fases con sus respectivas tareas, que a continuación se describen 
siquiera de forma breve. 


Cuadro 6.14. Fases en la elaboración de un cuestionario. 
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FASES 
PREPARACIÓN 


ELABORACIÓN 
CUESTIONARIO 
PILOTO 


APLICACIÓN 
PILOTO 


ELABORACIÓN 
DEFINITIVA 


APLICACIÓN DEL 
CUESTIONARIO 


ANÁLISIS 
DE DATOS 


CONCLUSIONES 
Y ELABORACIÓN 
DEL INFORME 


- OBJETIVOS 


Delimitar el contenido 


Delimitar población 


Recursos 


Elaborar las preguntas 
y organizarlas en un 
cuadernillo 


Revisar el cuestionario 
para preparar su versión 
definitiva 


Recoger los resultados de 
la fase anterior y preparar 
la versión del 
cuestionario que se 
aplicará a su población 
objeto 


Obtener la información 
deseada del grupo o 
población objeto 


Explotación de las 
respuestas 


Interpretar los resultados 
Obtener conclusiones 
respecto a los propósitos 
del cuestionario 
Redactar el informe 
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TAREAS ESPECÍFICAS 


Propósito del cuestionario 
Áreas de contenido 
Aspectos concretos de cada área 


Características de la población 
Número/Técnica de muestreo, 
si se trabaja con muestra 


Humanos: número y perfil 
Económicos: costes (aplicación, 
codificación, informatización, etc.) 


Elegir el tipo de preguntas 

Redactar las preguntas observando 
las normas pertinentes 

Ordenar y secuenciar las preguntas 
Redactar un texto introductorio al 
cuestionario que exprese su objetivo 


Preparar entrevistadores 
Aplicación a un grupo reducido 
Valoración por parte de expertos 


Análisis de resultados de la aplicación 
piloto 

Reelaborar el cuestionario 

Preparar la codificación 


Selección de la muestra, 

caso de trabajar con muestra 
Seguir los pasos que se aconsejan 
según la forma de aplicación 


Preparar las respuestas para su análisis 
mediante la elaboración de tablas 
donde se colocan las respuestas 
codificadas 

Análisis de contenido de las 
preguntas abiertas 

Análisis estadístico de los datos 


Elaborar cuadros o tablas resúmenes 
Formular conclusiones y 
recomendaciones 

Escribir el informe 


Fuente: Adaptación de Cabrera y Rodríguez Lajo (1993). 


1.2 Preparación del contenido 


Es necesario definir con claridad el propósito del cuestionario, esto es, responder a 
las cuestiones sobre qué se desea conocer y para qué. A continuación se delimitan los 
ámbitos o áreas específicas que se abarcarán con el contenido y para cada una de estas 
áreas los aspectos concretos sobre los que se recogerá información. Para poder llevar a 
cabo estas tareas es necesario conocer bien el tema sobre el que versará el cuestionario; 
supone un proceso de consulta a fuentes de información relevantes (documentales, 
expertos, discusión de grupo, otros cuestionarios existentes sobre el tema, etc.). Además 
de delimitar el contenido del cuestionario, en este momento también se especifica la 
población objeto de estudio y los recursos, humanos y económicos, que exige su 
aplicación. 


2.? Elaboración del cuestionario piloto 


En esta fase se seleccionan y redactan las preguntas. Es una de las fases claves en la 
elaboración del cuestionario puesto que se debe seleccionar el tipo de pregunta que mejor 
se adecue a los objetivos del cuestionario. En el cuadro 6.16 se recogen los tipos de 
preguntas, sus limitaciones y ventajas respectivas. 


3.2 Aplicación piloto 


Se aplica preferentemente mediante entrevista individual a un grupo de personas de 
la población objeto para estudiar su idoneidad. No interesan las respuestas de las 
personas sino sus valoraciones y comentarios sobre la adecuación del cuestionario. 
También se puede solicitar la opinión de expertos sobre la validez del cuestionario. Esta 
aplicación piloto también sirve como entrenamiento en la formación de los 
entrevistadores. 


4.* Elaboración de la versión definitiva del cuestionario 


Atendiendo a los resultados de la aplicación piloto, se reestructura el cuestionario y 
se prepara la versión definitiva que se aplicará a la población a la que se dirige. Se lleva a 
cabo el plan de codificación de las respuestas, esto es, establecer el patrón que se 
utilizará para transformar las respuestas en un código (normalmente numérico) que 
posibilite su tratamiento y análisis. 


5.2 Aplicación del cuestionario 
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Se lleva a cabo la aplicación del cuestionario a la población objeto utilizándose el 
modo de administración que más convenga atendiendo a sus limitaciones y ventajas. En 
el cuadro 6.15 se sintetizan las peculiaridades de las entrevistas individuales, colectivas, 
telefónicas y por correo, señalándose sus respectivas ventajas y limitaciones. 


6.* Análisis de datos 


Es la fase donde se realiza la explotación de las respuestas de los cuestionarios 
aplicados. El análisis puede ser bastante sencillo, como resumir los datos en tablas de 
frecuencias, cálculos de porcentajes y representaciones gráficas. Pueden ser más 
complejos estableciendo asociaciones entre dos o más aspectos del cuestionario (por 
ejemplo, la relación entre la edad de las personas y su nivel de satisfacción por la 
formación recibida, etc.) mediante tablas de contingencias. Incluso los actuales 
programas informáticos permiten análisis bastante complejos de los datos de un 
cuestionario. 


7.2 Redacción del informe 


Se elabora el informe de los resultados procurando ajustar el lenguaje y amplitud del 
informe a las distintas audiencias interesadas. 


6.4.2. Tipología de preguntas 


Los tipos de preguntas que se utilizan en los cuestionarios pueden clasificarse 
atendiendo a dos criterios: según el modo de respuesta que exige y según la función que 
tienen en el cuestionario. 


Según el modo de respuesta 

Según la forma que adopte la respuesta de persona encuestada, las preguntas se 
clasifican en dos grandes categorías: las preguntas abiertas, donde el entrevistado debe 
elaborar la respuesta, y las preguntas cerradas, donde debe ajustar su respuesta a las 


diferentes posibilidades que se le ofrece. En el cuadro 6.16 se exponen los distintos tipos 
de preguntas abiertas y cerradas con sus ventajas y limitaciones más importantes. 


Cuadro 6.15. Ventajas y limitaciones de las distintas formas de cuestionario. 
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INDIVIDUAL 


Es personalizada 

Permite recoger observaciones 
significativa (gestos, tono 

de voz, comentarios, etc.) 

Es flexible y adaptable 
Permite realizar todas las 
aclaraciones posibles 


Es costosa en tiempo 

y económicamente 

Es vulnerable al grado de 
empatía que se establezca 
entre entrevistado-entrevistador 
exige habilidades y 
entrenamiento especial 


COLECTIVA . 


Más económica que la 
individual 

Sus resultados reflejan la 
opinión dominante o de mayor 
consenso en el grupo 

Puede estimular la 
productividad de los 
participantes 

Permite recoger observaciones 
sobre el grupo (interacciones, 
participación, etc.) 


Puede intimidar e inhibir 

las diferencias individuales 
Intensifica las lealtades de grupo 
y polariza opiniones 

de una manera rígida 

Es vulnerable a ser manipulada 
por alguna persona popular 

o líder 


TELEFÓNICA 


Más económica que la 
individual 

Mayor libertad de horario 
de aplicación 

Colaboración del entrevistado 
siempre que se consiga que: 
a) se sienta que controla la 
situación; b) anonimato 
protegido; y c) brevedad 

de la entrevista 

Permite un muestreo 
geográfico amplio 


Pérdida de observación 

por no ver al entrevistado 

Dar respuestas evasivas y menor 
disposición para revelar 
información sensible por 
teléfono 

Problemas de localización 

del teléfono 

Rechazo por considerar que es 
una intrusión en el ámbito 
privado 


CORREOS . 


Reducido coste de tiempo 

y de personal 

Permite un amplio muestreo 
Son autoadministrable 
Mayor potencial para 
garantizar el anonimato 


Baja tasa de respuesta por 
las no devoluciones 
Pueden ser contestadas 
por otra persona 

Pueden no informar de 
las primeras reacciones 
espontáneas ya que tienen 
tiempo para consultar con otros 
No tener ningún tipo de 
observación sobre tono, 
predisposición, etc. 
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Según la función de la pregunta 


Atendiendo al cometido que tiene la pregunta en el cuestionario se distinguen los 
siguientes tipos más frecuentes: 


a) Preguntas sustantivas: su función es proporcionar la información que interesa 
conocer. Unas son contextúales en cuanto recaban información sobre las 
características de la persona encuestada (sexo, edad, profesión, etc.). Otras son 
referidas a los objetivos y áreas de interés del cuestionario. 

b) Preguntas filtros: anteceden a otras preguntas con la función de seleccionar a las 
personas que deben responderlas. Por ejemplo, ¿tiene hijos menores de 16 
años? (Si no tiene, pase a la pregunta X.) 

c) Preguntas de consistencia: son preguntas que tienen por función probar la 
sinceridad de la persona respondiendo al cuestionario; se refieren a un mismo 
aspecto pero con formulación algo diferente, que se colocan distantes en el 
cuestionario y cuyas respuestas deben ser coherentes entre sí. En muchas 
ocasiones consisten en colocar una alternativa de respuestas que es imposible 
que se dé y, en consecuencia, se espera que la persona no la seleccione como 
muestra de su consistencia. 

d) Preguntas de introducción o rompehielos: su finalidad es motivar al que 
contesta o contribuir a cambiar de tema dentro del cuestionario. 


e Consejos para la redacción y ordenación de las preguntas 


En la redacción de las preguntas se deben tener en cuenta los aspectos siguientes: 


— Utilizar una redacción en forma personal y directa (no impersonal), utilizando 
palabras sencillas. 

— Redactar de la manera más concisa posible, evitando frases largas y compuestas. 

— No presentar la pregunta de forma negativa, ya que da lugar a dudas sobre el 
sentido de la respuesta, ni tampoco en forma afirmativa pues suglere el 
contestar afirmativamente. Es conveniente, en caso necesario, una formulación 
en la que se contemplen las dos maneras. 

— Reducir al mínimo las preguntas que recaban información que puede obtenerse 
por otros medios. 

— Evitar una formulación tendenciosa, esto es, redactada con sesgo favorecer más 
una opción que otra. Por ejemplo, una pregunta tendenciosa sería: ¿cree que la 
mujer tiene más dificultades que el hombre para acceder al mundo laboral? 

— Deben evitarse palabras que poseen una carga o significado especial que pueden 
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generar rechazos o tensiones. Por ejemplo, las palabras “paternalista”, “naz1”, 
“burgués”, etc. 

— No hacer preguntas que obliguen a esfuerzos de memoria para la persona 
encuestada; en caso necesario presentarlas con opciones de respuesta que 
facilite el recuerdo; por ejemplo, usando intervalos de tiempo en las 
alternativas cuando se pregunta alguna fecha. 

— Procurar que se tenga que escribir lo menos posible; las preguntas abiertas deben 
reservarse para los casos en que no puedan hacerse de otra manera; no abusar 
de las preguntas abiertas que solicitan explicaciones, por ejemplo, “¿por qué?”. 


Cuadro 6.16. Tiplogía de preguntas de cuestionario. 
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En la ordenación y disposición de las preguntas en el cuestionario se deben observar 
los aspectos siguientes: 


— Agrupar las preguntas por temas, incluso pueden quedar demarcadas bajo un 
título. 

— Presentar las preguntas en forma de embudo, es decir, de lo más general a lo 
más particular. 

— No comenzar con preguntas difíciles o embarazosas que pueden afectar las 
respuestas de las siguientes. 

— Utilizar si es necesario preguntas filtros para orientar a la persona encuestada en 
la lectura del cuestionario. 

— Prever una presentación del cuestionario en la que se exponga su objeto y 
finalidad. 

— Prever en las preguntas un espacio para su codificación. 

— Determinar el número de las preguntas teniendo en cuenta la forma como será 
aplicado. Los cuestionarios por correo y por teléfono deben ser reducidos (se 
aconseja un número en torno a 10 o 12 preguntas), los más largos son los de 
aplicación individual. 


6.5. El grupo de discusión 


El grupo de discusión es un tipo especial de grupo de personas que dialogan juntas 
sobre algún tema de interés, aportando sus particulares percepciones y puntos de vista. 
Normalmente se realizan varias discusiones grupales con distintos participantes con el fin 
de recoger las tendencias y opiniones sobre el tema que interesa. El posterior y cuidadoso 
análisis de las discusiones permite obtener información sobre cómo se percibe una 
situación y qué expectativas o demandas genera. El éxito del grupo de discusión está en 
las características de las personas que lo componen, su relación con el tema, y en lograr 
un clima de confianza y permisividad que favorezca intervenciones espontáneas y 
naturales para expresar distintos pareceres. 


6.5.1. Características de los grupos de discusión 


Los grupos de discusión, según Krueger (1991), se caracterizan por los siguientes 
rasgos: 


— El número de personas que lo forman puede oscilar entre 4 y 12. El tamaño está 
condicionado por dos factores: debe ser suficientemente pequeño como para 
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que todos sus componentes tengan la oportunidad de intervenir y lo 
suficientemente grande para que exista diversidad de puntos de vista. 

Los participantes son razonablemente homogéneos por lo que respecta a un 
conjunto de características que son de interés según los objetivos de la 
evaluación. Esta homogeneidad es un punto de partida en el reclutamiento, y 
los participantes generalmente son informados de tales características al inicio 
de la discusión. Incluso, es mejor que las personas que integren el grupo sean 
desconocidas entre sí. 

La finalidad es recoger información y, por esta razón, el trabajo del grupo se 
planifica y dirige según unos propósitos claramente definidos. 

El tipo de información que produce es de naturaleza cualitativa. Aporta datos 
sobre percepciones, actitudes y opiniones de los participantes. Estos datos 
cualitativos se deben posteriormente someter a un proceso de análisis de 
contenido para su sistematización e interpretación. 

Los temas a tratar en el grupo están cuidadosamente escogidos y ordenados de 
antemano. El moderador o moderadora usa un guión de preguntas abiertas, 
organizadas de forma lógica y natural, que expone de la manera más 
espontánea posible. 

La función de la persona que hace de moderador es la de moderar, observar, 
escuchar y analizar de manera inductiva lo que está ocurriendo en el grupo. 
Debe favorecer un clima de permisividad y confianza que anime a la 
participación natural de las personas del grupo. No debe presionar para que se 
llegue a un consenso, su atención debe concentrarse en comprender los 
procesos mentales seguidos por las personas cuando exponen sus argumentos. 


Cada vez se hace mayor uso de la técnica de los grupos de discusión en los procesos 
de evaluación. Ofrece importantes ventajas respecto a otras técnicas cualitativas también 
basadas en mantener una conversación guiada. En primer lugar, tiene la ventaja de situar 
a la persona en una situación social, de interacción con los otros, que se asemeja más a 
una situación de la vida real a diferencia de las entrevistas individuales. Otra ventaja de 
las discusiones grupales es su flexibilidad para explorar desviaciones inesperadas del 
discurso que no sería posible en contextos más estructurados. Una tercera ventaja es su 
reducido coste de tiempo y personal comparado con otras técnicas más individuales. 


6.5.2. Planificación de los grupos de discusión 


El proceso de un grupo de discusión consta de tres etapas básicas: la preparación, el 
desarrollo y el análisis de los resultados. En el cuadro 6.17 se presenta una síntesis de los 
pasos que implica el planteamiento y desarrollo de un grupo de discusión. 


Preparación del grupo de discusión 
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Las finalidades más importantes de esta fase son delimitar el propósito de la 
discusión, la selección de los participantes y la preparación del guión de preguntas que 
orientará la discusión. El punto de partida es determinar el tipo de problema o cuestión 
que se desea debatir y la información que se pretende obtener. 

Una vez delimitados los objetivos, se procede a seleccionar las personas que pueden 
aportar la información necesaria. Se elaboran los criterios de clasificación de las distintas 
categorías de personas de las que interesa recoger información y formar los grupos de la 
manera más homogénea posible; si bien la homogeneidad es deseable, una cierta 
heterogeneidad es necesaria para favorecer el contraste de puntos de vista. Sin duda, la 
calidad de la información que se obtenga depende de la idoneidad de las personas del 
grupo para tratar el tema que interesa. Se debe prever cómo se realizará la convocatoria a 
las personas seleccionadas (vía correo, por teléfono, solicitud cara a cara, etc.) para que 
haya una efectiva participación. 


Cuadro 6.17. Proceso de un grupo de diseño. 
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PREPARACIÓN 


DESARROLLO 


ANÁLISIS E 
INTERPRETACIÓN 


Formular con claridad 


los objetivos 

Selección de las personas 
que participarán 

Guión de preguntas 


“Romper el hielo” 
Presentación del tema y las 
normas de funcionamiento 
Formular las preguntas de 
una manera natural 
Animar a la participación 
e interacciones entre 

los participantes 


Análisis de contenido 

de los datos registrados 
Interpretación y elaboración 
de conclusiones 


Delimitar la información 


que interesa obtener 
Criterios de selección 

de las personas 

Criterios de formación 

de los grupos 

Forma de convocatoria 
Cronología de las actividades 
(contacto participantes, 
fecha sesiones, análisis de 
resultados, etc.) 


Charlas informales de entrada 
Crear ambiente distendido 

y amistoso 

Papel de guía y motivador 
del moderador 

Toma de notas por parte 

del ayudante 

Grabación de la sesión 


Transcripción de las grabaciones 
efectuadas 

Aplicación de las técnicas del 
análisis de contenido. Puede 
utilizarse algún programa 
informático de análisis 


Un elemento importante en la preparación de un grupo de discusión es el guión de 


las preguntas. Las preguntas constituyen la esencia del trabajo: la calidad de las 
respuestas está directamente relacionada con la calidad de las preguntas. Una buena 
pregunta no se improvisa, requiere una cuidadosa reflexión y tener como referente el 
propósito que se persigue. Las preguntas son de tipo abierto y enunciadas de tal modo 
que proporcionen la máxima información. Se debe comenzar con preguntas generales 
para continuar, a medida que transcurre la sesión, con preguntas con un campo de 
respuesta más delimitado y restringido. 


Desarrollo del grupo de discusión y papel del moderador 
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Al inicio se debe buscar una forma de “romper el hielo” entre las personas que 
participan en el grupo. Se debe mantener una pequeña charla antes de comenzar la 
discusión grupal. El moderador debe intentar que se sientan cómodos creando un 
ambiente cálido y amistoso. En estos primeros momentos se evita tocar los temas clave 
que serán objeto de estudio posteriormente en la sesión. 

Una vez establecido un ambiente amistoso, se procede a iniciar la sesión 
presentando el tema de la discusión y explicando cómo va a funcionar el grupo. Los 
primeros momentos son críticos. En un período de tiempo breve, el moderador debe ser 
capaz de crear una atmósfera que facilite la intervención, explicar las normas básicas y 
dejar establecido el tono de la discusión. A continuación se formula la primera pregunta 
que está pensada para implicar a todas las personas en la discusión y, así, favorecer 
futuras intervenciones. 

Es importante la distribución estratégica de los participantes. Durante la fase 
introductoria se procura observar el estilo de los participantes (las personas más 
habladores, más tímidas, más silenciosas, etc.) para, posteriormente, colocarlos en los 
lugares adecuados; por ejemplo, delante del moderador a las personas más tímidas y al 
lado a las más habladoras. 

La sesión debe registrarse de dos formas: por magnetófono y tomando notas. Es 
necesario que además del moderador haya alguna persona ayudante, responsable 
fundamental de la recogida de información sobre lo que se habla y cómo se habla durante 
la sesión. 

El trabajo del moderador fundamentalmente consiste en guiar la conversación 
mediante: 


— Formular las preguntas de la manera más natural y espontánea posible. 

— Estimular las intervenciones y las interacciones entre los y las participantes. 

— Realizar síntesis parciales y finales sobre los tópicos que se están discutiendo. 

— Solicitar ampliaciones o concreciones en las opiniones cuando resultan 
excesivamente generales; así, pedir un ejemplo, aclaración de un término o 
expresión, etc. 


Para la conclusión de la sesión el moderador presenta una síntesis de los principales 
puntos de vista que han surgido y solicita a los participantes que juzguen si han sido 
recogidos fielmente. 


Análisis de los resultados 


Una vez transcritas las grabaciones de las sesiones, junto con las notas recogidas al 
momento por el moderador y, sobre todo, por el ayudante, se procede a su examen 
sistemático mediante las técnicas denominadas de análisis de contenido. 

Se ha expuesto la técnica del grupo de discusión como ejemplo de un procedimiento 
de evaluación de naturaleza cualitativa, donde la información desde su origen tiene forma 
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ascendente, frente a las técnicas, desarrolladas en los epígrafes anteriores, donde la 
aproximación a la realidad se hace desde categorías en mayor o menor medida fijadas de 
antemano. Esta función de obtener información de abajo hacia arriba es el valor más 
importante de las técnicas cualitativas haciéndolas imprescindibles en un proceso de 
evaluación. Son técnicas necesarias para captar la realidad social de la formación en una 
organización, esto es, conocer las percepciones y los sentimientos de sus protagonistas y 
usuarios. La información clave que aportan estas técnicas cualitativas se refieren al 
“porqué” y al “cómo” de los procesos que se dan en la realidad, y esta información es 
muy difícil obtenerla con las técnicas cuantitativas. 


6.6. El análisis de contenido 


La técnica del análisis de contenido se utiliza para analizar de forma válida, 
sistemática y objetiva el contenido de cualquier comunicación (oral, gráfica o escrita). 
Para que el análisis sea válido debe ser útil a los propósitos y objetivos de la evaluación; 
es sistemático cuando se hace de manera planificada y ordenada, y es objetivo cuando es 
replicable en el sentido de que otro analista llegaría a conclusiones similares si analizara 
los mismos documentos. 

Con frecuencia es una técnica que se aplica junto a otras: por ejemplo, para 
sistematizar el contenido de las entrevistas, las observaciones que se han registrado de 
forma narrativa o las respuestas dadas a una pregunta abierta en el cuestionario. 

A continuación se exponen las fases de un análisis de contenido, sus propósitos y las 
tareas que implican, procurando hacerlo desde su vertiente más práctica a fin de ajustarlo 
a los objetivos de la presente obra (cuadro 6.18). Estas fases deben entenderse de forma 
cíclica y circular y no de manera secuencial y lineal. Concluido un primer paso, se pasa al 
siguiente para, con frecuencia, volver de nuevo al anterior con el fin de revisarlo y 
completarlo con una información más amplia y rica. 


Cuadro 6.18. Fases de un proceso de análisis de contenido. 


FASES TAREAS 


* Selección e identificación de los 
documentos a analizar 

* Determinar los objetivos del análisis 

+ Establecer un plan de categorización y 
de codificación: 

Planificación del análisis — Selección de la unidad de registro 

— Establecer un sistema de categoría 
— Establecer un sistema de recuento y 
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de codificación de las unidades de 
registro 
* Comprobar validez del sistema de 
Estudio piloto del sistema de categorización categorización 
* Comprobar consistencia entre analistas 
Explotación del material e FEUón se panos iS , 
+ Análisis propiamente dicho del material 
* Nivel de análisis del contenido del 
texto: 
— Contenido manifiesto 
— Contenido latente 
* Alcance del análisis: 
— De frecuencias 
— De relaciones 
— De estructuras temáticas 


Análisis e interpretación de los resultados 


Primera fase: Planificación del análisis 


En esta fase se lleva a cabo la organización del proceso de análisis. Los aspectos 
más importantes a tener en cuenta son los siguientes: 


a) Selección e identificación de los documentos a analizar. Descripción detallada 
de las características de los documentos que serán objeto de análisis, puesto 
que se ha de dejar claro el “universo” al que hay que generalizar los resultados 
del análisis. 

b) Determinar los objetivos del análisis. Es necesario indicar como punto de 
partida del análisis el “porqué” y el “para qué” del trabajo. Es decisivo para el 
análisis disponer de unos propósitos claros desde el principio, puesto que 
condiciona la forma de resolver los siguientes pasos, sobre todo el más 
delicado de ellos que es la elaboración del sistema de categorías que se utilizará 
para el análisis. 

c) Establecer un plan de categorización y de codificación. En este momento se 
establece el plan que se seguirá para transformar los datos brutos de una 
comunicación en un sistema de categoría que lo represente. La categorización 
no es otra cosa que simplificar reduciendo el número de información a un 
número menor de clases o categorías. Para llevar a cabo este plan de 
categorización es necesario tomar una decisión sobre los siguientes elementos: 


— Selección de la unidad de registro. El documento que se analizará se 
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dividirá en segmentos de contenido, cada uno de ellos constituye una 
unidad de registro que será objeto de categorización y recuento 
frecuencial. Las unidades de registro pueden ser de naturaleza y tamaño 
variable, las más ampliamente utilizadas se muestran en el cuadro 6.19, 

— Establecer un sistema de categorías. Para poder clasificar las unidades de 
registro se debe disponer de un sistema de categorías. Las categorías son 
epígrafes o etiquetas que reúnen a diferentes unidades de registro bajo un 
título genérico que, según algún criterio, tienen algo en común. El analista 
puede encontrarse en dos situaciones: a) iniciar el análisis de los 
documentos con un sistema de categorías establecido “a priort”, es decir, 
ya elaborado; o b) trabajar con un sistema de categorías “a posteriori”, es 
decir, inicia el análisis sin un sistema previo y lo va estableciendo a partir 
de ir clasificando por analogía las unidades de registro, el “título” de la 
categoría se establece al final del análisis. En el cuadro 6.20 se presenta un 
ejemplo de un sistema de categorías elaborado en el transcurso del 
análisis. Al final, se pone el nombre de las categorías tomando en cuenta 
los significados de las respuestas clasificadas dentro de una misma 
categoría. 


En la práctica es difícil encontrar un procedimiento de categorización puro “a priort” 
o “a posteriort”. Generalmente se parte de un primer bosquejo de sistema de categorías, 
a veces definidas según el propio objeto del análisis, otras por la lectura superficial que se 
ha hecho previamente de los documentos, o ambas cosas a la vez, que es lo más 
aconsejable. Luego, en el transcurso del análisis, normalmente unas categorías se 
modifican, otras que resultan en exceso específicas se unen, otras muy generales se 
concretan, otras se añaden, etc. 


Cuadro 6.19. Clases de unidades de registro. 


Es la unidad de registro más pequeña y se 
La palabra utiliza sobre todo en los recuentos de 
vocabularios 


Posiblemente la de mayor uso. Se refiere a 
un fragmento cualquiera de la comunicación 
que tenga un sentido completo para los 
objetivos del análisis 


Tema 


La unidad que se registra son los temas ejes 
en torno a los cuales gira y se organiza la 

Objeto o referente comunicación. Por ejemplo, los temas que 
aparecen en las reuniones, en los discursos, 
etc. 
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Se refiere a mediciones físicas de un 
contenido, bien de espacio (por ejemplo, 

La medición del tiempo o del espacio "Número de páginas que se le dedica a un 
tema), bien temporales (minutos de una 
intervención o que se dedican a un tema en 
una reunión, etc.) 


El documento en su globalidad puede 
constituirse en una unidad de registro; en 
El documento este caso se analiza el tono o actitud general 
que se expresa en el documento (tono 
positivo, negativo, vulgar, creativo, etc.) 


Sin duda, el sistema de categorías que se elabore es el elemento clave de un análisis 
de contenido. La validez de todo el análisis se apoya en el sistema de categorías que se 
utilice, el grado en que éste sea adecuado a los propósitos del análisis. En el cuadro 6.21 
se exponen las reglas básicas que ha de respetar un buen sistema de categorías. 

Establecer un sistema de codificación y recuento de las unidades de registro. Es 
necesario determinar un sistema numérico, alfabético o alfanumérico correspondiente al 
sistema de categorías elaborado para adscribir las unidades de registro a su categoría 
respectiva. La manera de realizar el recuento de las uni-dades varía según el propósito 
sea detectar la frecuencia de su aparición, el orden en que aparece o la contingencia 
(presencia simultánea de dos unidades de registro en el mismo texto). Cuando el análisis 
se hace de forma manual, el recuento de frecuencias es el más fácil y simple. Si se utiliza 
algún programa informático el análisis puede ser más complejo, consiguiéndose análisis 
descriptivos e interpretativos de gran riqueza. 


Cuadro 6.20. Ejemplo de un análisis de contenido con sistema “a posteriori”. 
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Cuadro 6.21. Las reglas a observar en un sistema de categorías. 


LAS CATEGORÍAS HAN DE SER: 


Adecuadas y pertinentes 


Homogéneas 


Exhaustivas 


Objetivas 


Mutuamente excluyentes 


ESTO SUPONE QUE: 


Las categorías tienen que ser significativas 
con el contenido de la comunicación y con 
el propósito del análisis 

El sistema de categorías ha de construirse 
de acuerdo a un criterio único de 
clasificación 


Las categorías previstas deben agotar todo 
el contenido expresado, de tal manera que 
en la categoría “otras”, que normalmente se 
suele añadir para recoger aspectos 
difícilmente clasificables, no debería haber 
más del 5% del total de las unidades 
registradas 


Las categorías deben estar suficientemente 
bien definidas y precisados los fundamentos 
lógicos que las rigen de tal forma que dos 
analistas incluyan las unidades en las 
mismas y no en diferentes categorías 


Las unidades de registro no pueden ser 
incluidas en más de una categoría 


Seg unda fase: Estudio piloto del sistema de categorización 


Consiste en realizar una pequeña experiencia de análisis, eligiendo al azar algunos 


textos con la finalidad de: 


a) Comprobar la validez del sistema de categorías y de códigos utilizados a fin de 
asegurar su validez a los objetivos del análisis y su adecuación a las reglas 
básicas que avalan su idoneidad como sistema. 

b) Asegurar en caso de más de un analista que hay unanimidad en la identificación 
de las unidades de registro y en la asignación del código correspondiente. Esto 
es, asegurar la fiabilidad del proceso de categorización. La manera más general 
y simple de valorar la consistencia de un análisis de contenido que se realiza de 
forma manual es estimar el porcentaje de acuerdo entre los analistas. Para esto 
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basta simplemente aplicar la siguiente fórmula: 


% de acuerdo = "de unidades codificadas idénticamente x 100" 


n.* total de unidades codificadas 


Para que un plan de categorización se considere fiable el grado de acuerdo debe 
acercarse al valor de 90%, cuando el código tiene 1 o 2 cifras; si tuviera 3 cifras es más 
realista esperar un grado de acuerdo en torno al 85%. 


Tercera fase: Explotación del material 


La finalidad de esta fase es ejecutar cuidadosamente el plan de análisis establecido, 
bien se realice de forma manual o mediante programas informáticos. En esta fase es 
donde en realidad se lleva a cabo el análisis propiamente dicho. El tratamiento del texto 
dependerá de las unidades de análisis elegidas, del recuento que se haga de ellas y si se 
trabaja con un sistema de categorías establecido o no. 

En esta fase se determina el formato que se utilizará para registrar los resultados del 
análisis, de tal manera que al final se obtenga la visión de un sistema numérico 
(normalmente el más utilizado en los análisis cuantitativos) o conceptual (más utilizado en 
los análisis cualitativos; por ejemplo, mapas conceptuales, tablas descriptivas,) que 
represente el contenido del texto analizado, es decir, el contenido codificado. 


Cuarta fase: Análisis e interpretación de los resultados 


En esta fase se da forma a los resultados brutos que se han obtenido una vez 
codificado el texto, de tal manera que resulten significativos (“que hablen”) y válidos a 
los propósitos del análisis y de la evaluación. Este tratamiento puede realizarse a dos 
niveles: 


a) El nivel manifiesto del texto que consiste en hacer una transcripción directa del 
contenido en función del código utilizado. Se realiza lo que se denomina una 
“lectura literal” de los textos analizados. 

b) El nivel latente que trata de ir más allá de lo expuesto por el autor del texto de 
forma explícita. Se hace una interpretación sobre el significado de la 
comunicación o motivación subyacente a lo relatado literalmente en el texto. 


Para el recuento de los datos obtenidos pueden utilizarse operaciones estadísticas 
sencillas (recuentos de frecuencias, porcentajes) o más complejas (análisis factorial, etc.) 
que sirven para elaborar cuadros de resultados, representaciones gráficas que resumen y 
ponen de relieve las conclusiones del análisis. Normalmente, en un primer momento se 
recurre a estrategias cuantitativas y después cualitativas para interpretar en todo su 
sentido las anteriores, sobre todo cuando se pretende inferir el contenido latente de los 
textos. El alcance del análisis de resultados puede referirse a los siguientes niveles: 
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a) Recuento de frecuencias de las unidades de registro, lo que indicará la mayor o 
menor importancia o relevancia de los aspectos tratados en el sistema de 
categorías en los textos analizados. 

b) Análisis de contingencia en el que se estudiaría la proximidad y relaciones entre 
las categorías. 

c) Las estructuras temáticas descubriendo conjuntos temáticos, estructuras y 
esquemas conceptuales elaborados desde una perspectiva de análisis cualitativo 
del contenido de los textos, o bien mediante el uso de algún programa 
informático de análisis de contenido. 


En el cuadro 6.22 se expone un ejemplo para ilustrar un plan de análisis, con sistema 
de categorías “a priori”, de las respuestas dadas por los asistentes a un curso de 
formación a la pregunta: “Señala aquellos aspectos del curso que destacarías como 
positivos y aquellos que consideras que deberían mejorarse”. 

El ejemplo de un plan de análisis que se ha presentado en el cuadro anterior 
responde a un tipo de análisis de naturaleza cuantitativa. Además del análisis cuantitativo 
o en su lugar, se utilizan sistemas de análisis cualitativos e interpretativos que procuran 
organizar las estructuras y esquemas conceptuales que subyacen en el contenido de las 
comunicaciones. Para estos análisis cualitativos una técnica muy utilizada es el mapa 
descriptivo en el que se representa la organización de las ideas en niveles de 
generalización y las relaciones entre ellas. Otra técnica utilizada con éxito es el análisis 
sistemático de red, en el que se utiliza el concepto de “red relacional” para representar el 
contenido y estructura de una comunicación. 


Cuadro 6.22. Ejemplo de un plan de análisis. 
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Objetivo del análisis: identificar los aspectos positivos y negativos más sobresalientes del cur- 
so a partir de la opinión de sus asistentes 


Documentos: las respuestas dadas a la pregunta: “señala aquellos aspectos del curso que des- 
tacarías como positivos y aquellos que consideras que deberían mejorarse” del cuestionario 
que se aplica al final del curso 


Unidad de registro: el tema: palabras y expresiones con contenido referentes a aspectos del 
curso 


Sistema de categorías: establecido “a priori”, puede irse complementando en el desarrollo del 
análisis 


Dirección del tono 1. cifra Campo o dimensión 2.2 cifra Aspecto señalado — 3.2 cifra 


Valoración Positiva 1 Si no se alude al campo 0. Sinose alude al 
Valoración Negativa 2 aspecto 


o 


Sugerencias A Objetivos y contenidos 1 Relevancia 
Amplitud 
Profundidad 
Secuenciación 
Relación con las 
expectativas a 


hu hn — 


Metodología enseñanza 2 Adecuación a los 
objetivos 1 
Adecuación al grupo 2 
Variedad 3 


Relaciones 3 Clima en general 1 
Relación entre 
el alumnado 2 
Profesorado y 
alumnado 3 


Profesorado 4 Dominio de los 
contenidos 
Formación práctica 
Exposición 
Ritmo y entonación 
Interés y entusiasmo 


0 Aun — 


Organización 5 Horario 
Tutorización 2 
Duración del curso 3 
Composición de 
los grupos 4 
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Sistema de codificación: numérico, cada unidad de registro tendrá tres cifras atendiendo a la 
codificación expuesta en el sistema de categorías 

Sistema de recuento: frecuencial, al final del análisis se obtendrá las veces que han apareci- 
do las distintas categorías en los documentos analizados 


EJEMPLOS DE CODIFICACIÓN 
Respuestas (se subrayan las unidades de registro) Codificación 
Respuesta: El curso me ha parecido muy interesante y muy práctico para 1-1-1 
mi formación. El profesor parecía dominar la materia tanto desde el 1-4-1 
punto de vista teórico como práctico, sin embargo creo que debe mejorar 1-4-2 
su relación con el alumnado puesto que se ha mostrado muy distante. 2-3-3 
Otro aspecto que destaco son las dificultades de horario, es necesario 2-5-1 
que se llegue a un acuerdo al inicio de curso sobre cuál es el mejor 3-5-1 


para todos. 


Respuesta: Estoy muy satisfecho por haber hecho este curso por su nivel 


1-1-3 
y profundidad. Me ha gustado mucho su profesorado. l.-4-0 
Debe mejorarse la organización. 2-5-0 
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